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Java NIO 简明 教程 


在 查阅 NIO 相 关 资 料 时 , 发 现 一 份 很 不 错 的 资源 ， 一 位 老外 写 的 nio 系 列 教程 : 
http://tutorials.jenkov.com/java-nio/index.html 


通读 的 过 程 中 发 现 作者 的 文笔 非常 好 ， 把 技术 概念 讲 的 透彻 ， 浅 显 易 懂 。 
教程 质量 整体 非常 不 错 ， 故 而 将 其 翻译 为 中 文 版 @。 


翻译 系列 暂 定名 为 《Java NIO 简明 教程 》。 


版 本 修订 时 间 
v1.0 2016/05/11 
v1.1 2016/07/07 
v1.2 2017/11/01 


在 线 阅读 地 址 : http://nio.hacktons.cn/ 


联系 


。 作者 : info@jenkov.com 
。 译 者 : chaobinwu89@gmail.com @ 小 文子 


01. Java NIO 教程 


原文 链接 : http://tutorials.jenkov.com/java-nio/index.html 


e Java NIO: Channels and Buffers 
e Java NIO: Non-blocking IO 
e Java NIO: Selectors 


Java NIO java 1.4 之 后 新 出 的 一 套 IO 接 口 ， 这 里 的 的 新 是 相对 于 原 有 标准 的 Java IOF Java 
Networking 接 口 。NIO 提 供 了 一 种 完全 不 同 的 操作 方式 。 


NIO 中 的 N 可 以 理解 为 Non-blocking， 不 单纯 是 New 


Java NIO: Channels and Buffers 


标准 的 | 编程 接口 是 面向 字 节 流 和 字符 流 的 。 而 NIO 是 面向 通道 和 缓冲 区 的 ， 数 据 总 是 从 通道 
中 读 到 buffer 缓 冲 区 内 ， 或 者 从 buffer 写 入 到 通道 中 。 


Java NIO: Non-blocking IO 


Java NIO 使 我 们 可 以 进行 非 阻塞 ID 操作 。 比 如 说 ， 单 线程 中 从 通道 读 取 数 据 到 buffer， 同 时 可 
以 继续 做 别 的 事情 ， 当 数据 读 取 到 buffer 中 上 后， 线程 再 继续 处 理 数据 。 写 数据 也 是 一 样 的 。 


Java NIO: Selectors 


NIO 中 有 一 个 “slectors” 的 概念 。selector 可 以 检测 多 个 通道 的 事件 状态 (例如 : 链接 打开 ， 数 
据 到 达 ) 这 样 单线 程 就 可 以 操作 多 个 通道 的 数据 。 所 有 这 些 都 会 在 后 续 章 节 中 更 详细 的 介 


绍 。 


02. Java NIO 概览 


原文 链接 : http://tutorials.jenkov.com/java-nio/overview.html 


e 通道 和 缓冲 区 (Channels and Buffers) 
£8 


通 
e 选择 器 (Selectors) 


NIO 包 含 下 面 几 个 核心 的 组 件 : 


e Channels 
e Buffers 
e Selectors 


整个 NIO 体 系 包 含 的 类 远 远 不 止 这 几 个 ， 但 是 在 笔者 看 来 Channel,Buffer 和 Selector 组 成 了 这 
个 核心 的 APIl。 其 他 的 一 些 组 件 ， 比 如 Pipe 和 FileLock 仅 仅 只 作为 上 述 三 个 的 负责 类 。 因 此 在 
概览 这 一 节 中 ， 会 重点 关注 这 三 个 概念 。 其 他 的 组 件 会 在 各 自 的 部 分 单独 介绍 。 


通道 和 缓冲 区 (Channels and Buffers ) 


通常 来 说 NIO 中 的 所 有 IO 都 是 从 Channel 开 始 的 。Channel 和 流 有 点 类 似 。 通 过 Channel， 我 
们 即 可 以 从 Channel 把 数据 写 到 Buffer 中 ， 也 可 以 把 数据 冲 Buffer 写 chan ， 下 图 是 一 个 
示意 图 : 


Java NIO: Channels read data into Buffers, and Buffers write data into Channels 
有 很 多 的 Channel，Buffer 类 型 。 下 面 列举 了 主要 的 几 种 : 


e FileChannel 

e DatagramChannel 

e SocketChannel 

e ServerSocketChannel 


正如 你 看 到 的 ， 这 些 channel 基 于 于 UDP 和 TCP 的 网 络 |O， -e 。 和 这 些 类 一 起 的 还 
有 其 他 一 些 比 较 有 趣 的 接口 ， 在 本 节 中 暂时 不 多 介绍 。 为 了 简洁 起 见 ， 我 们 会 在 必要 的 时 候 
引入 这 些 概念 。 下面 是 核心 的 Buffer 实 现 类 的 列表 : 


ByteBuffer 
CharBuffer 
DoubleBuffer 
FloatBuffer 


e |ntBuffer 
e LongBuffer 
e ShortBuffer 


这 些 Buffer 涵 盖 了 可 以 通过 IO 操作 的 基础 类 型 : byte,short,int,long,float,doublevs A 
characters. NIO 实 际 上 还 包含 一 种 MappedBytesBuffer, 一 般 用 于 和 内 存 映 射 的 文件 。 


va, 


选择 器 (Selectors ) 


选择 器 允许 单线 程 操作 多 个 通道 。 如 果 你 的 程序 中 有 大 量 的 链接 ， 同 时 每 个 链接 的 ID 带宽 不 
高 的 话 ， 这 个 特性 将 会 非常 有 帮助 。 比 如 聊天 服务 器 。 下 面 是 一 个 单线 程 中 Slector 维 护 3 个 
Channel 的 示意 图 


Java NIO: A Thread uses a Selector to handle 3 Channel's 


要 使 用 Selector 的 话 ， 我 们 必须 把 Channel 注 册 到 Selector 上 ， 然 后 就 可 以 调用 Selector 的 
select() 方 法 。 这 个 方法 会 进入 阻塞 ， 直 到 有 一 个 channel 的 状态 符合 条 件 。 当 方法 返回 后 ， 线 
程 可 以 处 理 这 些 事件 。 


03. Java NIO Channel 3% 
原文 链接 : http://tutorials.jenkov.com/java-nio/channels.html 


e Channel 的 实现 (Channel Implementations ) 
e Channel 的 基础 示例 (Basic Channel Example ) 


Java NIO Channel 通 道 和 流 非常 相似 ， 主 要 有 以 下 几 点 区 别 : 


ee ， 流 一 般 来 说 是 单 向 的 (只 能 读 或 者 写 ) © 
可 以 异步 读 写 。 
e ooo 区 Buffer 来 读 写 。 


通道 
。 通道 


sar 的 ， 以 从 通道 中 读 取 数 据 ， 写 入 到 buffer ; 也 可 以 中 buffer 内 读数 据 ， 
入 到 通道 中 。 下 面 有 个 示 


Java NIO: Channels read data into Buffers, and Buffers write data into Channels 


Channel 的 实现 (Channel Implementations ) 


下 面 列 出 Java NIO 中 最 重要 的 集中 Channel 的 实现 : 


e FileChannel 

e DatagramChannel 

e SocketChannel 

e ServerSocketChannel 


FileChannel 用 于 文件 的 数据 读 写 。 DatagramChannel 用 于 UDP 的 数据 读 写 。 SocketChannel 
用 于 TCP 的 数据 读 写 。 ServerSocketChannel 允 许 我 们 监听 TCP 链 接 请 求 ， 每 个 请 求 会 创建 
会 一 个 SocketChannel. 


Channel 的 基础 示例 (Basic Channel Example ) 


这 有 一 个 利用 FileChannel 读 取 数 据 到 Buffer 的 例子 


RandomAccessFile aFile = new RandomAccessFile("data/nio-data.txt", "rw"); 
FileChannel inChannel = aFile.getChannel(); 


ByteBuffer buf = ByteBuffer.allocate(48); 


int bytesRead = inChannel.read(buf); 
while (bytesRead != -1) { 


System.out.printin("Read " + bytesRead); 
buf.f1lip(); 


while(buf.hasRemaining()){ 
System.out.print((char) buf.get()); 


buf.clear(); 
bytesRead = inChannel.read(buf); 


} 


aFile.close(); 


12 Ebufflip() GAA o FAs A Buffert > AGM flip) 7% o HH Ae IIe E 
来 。 在 后 续 的 章节 中 我 们 还 会 讲解 先 关 知识 。 


04. Java NIO Buffer ’? & 


原文 链接 : http://tutorials.jenkov.com/java-nio/buffers.html 


e Buffer 基 本 用 法 (Basic Buffer Usage ) 
e Buffer 的 容量 ， 位 置 ， 上 限 (Buffer Capacity, Position and Limit) 
o 容量 (Capacity) 
o 428 (Position) 
o 上 限 (Limit) 
e Buffer Types 
e 分 配 一 个 Buffer (Allocating a Buffer ) 
e 写 入 数据 到 Buffer (Writing Data to a Buffer ) 
e 翻转 (flip()) %EF%BC%89) 
e 从 Buffer 读 取 数 据 (Reading Data from a Buffer) 
e rewind()) 
e clear() and compact()-and-compact()) 
e mark() and reset()-and-reset()) 
e equals() and compare To()-and-compareto()) 
o equals()) 
o compareTo()) 


Java NIO Buffers 用 于 和 NIO Channel 交 互 。 正 如 你 已 经 知道 的 ， 我 们 从 channel 中 读 取 数据 到 
buffers 里 ， 从 buffer 把 数据 写 入 到 channels. 


buffer 本 质 上 就 是 一 块 内 存 区 ， 可 以 用 来 写 入 数据 ， 并 在 稍 后 读 取出 来 。 这 块 内 存 被 NIO 
Buffer 包 应 起 来 ， 对 外 提供 一 系列 的 读 写 方便 开发 的 接口 。 


Buffer 基 本 用 法 (Basic Buffer Usage ) 


利用 Buffer 读 写 数 据 ， 通 常 遵循 四 个 步骤 : 


e 把 数据 写 入 buffer ; 

e 人 调用 flip ; 

e 从 Buffer 中 读 取 数据 ; 

e 调用 buffer.clear() 或 者 buffer.compact() 


当 写 入 数据 到 buffer 中 时 ，buffer 会 记录 已 经 写 入 的 数据 大 小 。 当 需要 读数 据 时 ， 通 过 作 p() 方 
法 把 buffer 从 写 模式 调整 为 读 模式 ; 在 读 模式 下 ， 可 以 读 取 所 有 已 经 写 eee ° 


当 读 取 完 数据 后 ， 需 要 清空 buffer ， 以 满足 后 续 写 入 操作 。 清 空 buffer 有 两 种 方式 : 


调用 clear() 


或 compact() 方 法 。clear 会 清空 整个 buffer，compact 则 只 清空 已 读 取 的 数据 ， 未 被 读 取 的 数据 


会 被 移动 到 buffer 的 开始 位 置 ， 写 入 位 置 则 近 跟 着 未 读数 据 之 后 。 


这 里 有 一 个 简单 的 buffer 和 案例， 包括 了 write，flip 和 clear 操 作 : 


RandomAccessFile aFile = new RandomAccessFile("data/nio-data.txt", "rw"); 
FileChannel inChannel = aFile.getChannel(); 


//create buffer with capacity of 48 bytes 
ByteBuffer buf = ByteBuffer.allocate(48); 


int bytesRead = inChannel.read(buf); //read into buffer. 
while (bytesRead != -1) { 


buf.flip(); //make buffer ready for read 


while(buf.hasRemaining()){ 
System.out.print((char) buf.get()); // read 1 byte at a time 


} 


buf.clear(); //make buffer ready for writing 
bytesRead = inChannel.read(buf); 
} 


aFile.close(); 


Buffers) X = > 上限 (Buffer Capacity, 


Position ore ae 


buffer 缓 冲 区 实质 上 就 是 一 块 内 存 ， 用 于 写 入 数据 ， 也 供 后 续 再 次 读 取 数 据 。 
Buffer 管 理 ， 并 提供 一 系列 的 方法 用 于 更 简单 的 操作 这 块 内存 。 
一 个 Buffer 有 三 个 属性 是 必须 掌握 的 ， 分 别 是 


e capacity 容 量 
e position 位 置 
e limit 限 制 


下 面 有 张 示 例 图 ， 描 诉 了 不 同 模式 下 position 和 limit 的 含义 : 


Buffer capacity, position and limit in write and read mode. 


这 块 内 存 被 NIO 


> a 


position 和 limit 的 具体 含义 取决 于 当前 buffer 的 模式 。capacity 在 两 种 模式 下 都 表示 容 


容量 (Capacity ) 


作为 一 块 内 存 ，buffer 有 一 个 国定 的 大 小 ， 叫 做 capacity 容 量 。 也 就 是 最 多 只 能 写 入 容量 值得 
字 节 ， 整 形 等 数据 。 一 旦 buffer 写 满 了 就 需要 清空 已 读数 据 以 便 下 次 继续 写 入 新 的 数据 。 


位 置 (Position ) 


当 写 入 数据 到 Buffer 的 时 候 需 要 中 一 个 确定 的 位 置 开始 ， 默 认 初 始 化 时 这 个 位 置 position 为 0， 
一 旦 写 入 了 数据 比如 一 个 字 节 ， 整 形 数 据 ， 那 么 position 的 值 就 会 指向 数据 之 后 的 一 个 单元 ， 
position 最 大 可 以 到 capacity-1. 


当 从 Buffer 读 取 数 据 时 ， 也 需要 从 一 个 确定 的 位 置 开 始 。buffer 从 写 入 模式 变 为 读 取 模 式 时 ， 
position 会 归 零 ， 每 次 读 取 后 ，position 向 后 移动 。 


上 限 (Limit) 
在 写 模 式 ，limit 的 含义 是 我 们 所 能 写 入 的 最 大 数据 量 。 它 等 同 于 buffer 的 容量 。 


一 旦 切换 到 读 模式 ，limit 则 代表 我 们 所 能 读 取 的 最 大 数据 量 ， 他 的 值 等 同 于 写 模 式 下 position 
的 位 置 。 


数据 读 取 的 上 限时 buffer 中 已 有 的 数据 ， 也 就 是 limit 的 位 置 ( 原 position 所 指 的 位 置 ) 。 


Buffer Types 


Java NIO 有 如 下 具体 的 Buffer 类 型 : 


e ByteBuffer 

e MappedByteBuffer 
e CharBuffer 

e DoubleBuffer 

e FloatBuffer 

e IntBuffer 

e LongBuffer 

e ShortBuffer 


正如 你 看 到 的 ，Buffer 的 类 型 代表 了 不 同 数据 类 型 ， 换 和 句 话说 ，Buffer 中 的 数据 可 以 是 上 述 的 
基本 类 型 ; 


MappedByteBuffer 稍 有 不 同 ， 我 们 会 单独 介绍 。 


分 配 一 个 Buffer (Allocating a Buffer) 


为 了 获取 一 个 Buffer 对 象 ， 你 必须 先 分 配 。 每 个 Buffer 实 现 类 都 有 一 个 allocate() 方 法 用 于 分 配 
内 存 。 下 面 看 一 个 实例 ,开辟 一 个 48 字 节 大 小 的 buffer : 


ByteBuffer buf = ByteBuffer.allocate(48); 


开辟 一 个 1024 个 字符 的 CharBuffer : 


CharBuffer buf = CharBuffer.allocate(1024); 


写 入 数据 到 Buffer (Writing Data to a Buffer) 


写 数据 到 BufferF 有 两 种 方法 : 


e 从 Channel 中 写 数 据 到 Buffer 
e 手动 写 数据 到 Buffer， 调 用 put 方 法 


下 面 是 一 个 实例 ， 演 示 从 Channel 写 数据 到 Buffer : 
int bytesRead = inChannel.read(buf); //read into buffer. 


通过 put 写 数据 : 


buf .put(127); 


put 方 法 有 很 多 不 同 版 本 ， 对 应 不 同 的 写 数据 方法 。 例 如 把 数据 写 到 特定 的 位 置 ， 或 者 把 一 个 
字 节 数据 写 入 buffer。 看 考 JavaDoc 文 档 可 以 查阅 的 更 多 数据 。 


翻转 (flip()) 
flip() 方 法 可 以 吧 Buffer 从 写 模 式 切 换 到 读 模 式 。 调 用 人 lp 方法 会 把 position 归 零 ， 并 设置 limit 为 


之 前 的 position 的 值 。 也 就 是 说 ， 现 在 position 代 表 的 是 读 取 位 置 ，limit 标 示 的 是 已 写 入 的 数 
据 位 置 。 


从 Buffer 读 取 数 据 (Reading Data from a 
Buffer ) 


冲 Buffer 读 数据 也 有 两 种 方式 。 


e 从 buffer 读 数据 到 channel 
© 从 buffer 直 接 读 取 数 据 ， 调 用 get 方 法 


读 取 数据 到 channel 的 例子 : 


//read from buffer into channel. 
int byteswWritten = inChannel.write(buf); 


调用 get 读 取 数 据 的 例子 : 


byte aByte = buf.get(); 


get 也 有 诸多 版 本 ， 对 应 了 不 同 的 读 取 方式 。 


rewind() 


Bufferrewind() 方 法 将 position 置 为 0， 这 样 我 们 可 以 重复 读 取 buffer 中 的 数据 。limit 保 持 不 变 。 


clear() and compact() 
一 旦 我 们 从 buffer 中 读 取 完 数据 ， 需 要 复 用 buffer 为 下 次 写 数据 做 准备 。 只 需要 调用 clear 或 
compact 方 法 。 


clear 方 法 会 重 置 position 为 0，limit 为 capacity， 也 就 是 整个 Buffer 清 空 。 实 际 上 Buffer 中 数据 并 
没有 清空 ， 我 们 只 是 把 标记 为 修改 了 。 


如 果 Buffer 还 有 一 些 数据 没有 读 取 完 ， 调 用 clear 就 会 导致 这 部 分 数据 被 “遗忘 "， 因 为 我 们 没有 
标记 这 部 分 数据 未 读 。 

针对 这 种 情况 ， 如 果 需 要 保留 未 读数 据 ， 那 么 可 以 使 用 compact。 因此 compact 和 clear 的 区 
别 就 在 于 对 未 读数 据 的 处 理 ， 是 保留 这 部 分 数据 还 是 一 起 清空 。 


mark() and reset() 


通过 mark 方 法 可 以 标记 当前 的 position， 通 过 reset 来 恢复 mark 的 位 置 ， 这 个 非常 像 canva 的 
save 和 restore : 


buffer.mark(); 
//call buffer.get() a couple of times, e.g. during parsing. 


buffer.reset(); //set position back to mark. 


equals() and compareTo() 


可 以 用 eqauls 和 compareTo 比 较 两 个 buffer 


equals() 
判断 两 个 buffer 相 对 ， 需 满足 : 


e 类 型 相同 
e buffer 中 剩余 字 节 数 相 同 
。 所 有 剩余 字 节 相等 


从 上 面 的 三 个 条 件 可 以 看 出 ，equals 只 比较 buffer 中 的 部 分 内 容 ， 并 不 会 去 比较 每 一 个 元 素 。 


compareTo() 


compareTo 也 是 比较 buffer 中 的 剩余 元 素 ， 只 不 过 这 个 方法 适用 于 比较 排序 的 : 


05. Java NIO Scatter / Gather 


原文 链接 : http://tutorials.jenkov.com/java-nio/scatter-gather.html 


e Scattering Reads 
e Gathering Writes 


Java NIO 发 布 时 内 置 了 对 scatter / gather49 x4 ° scatter / gather 是 通过 通道 读 写 数据 的 两 个 
概念 。 


Scattering read 指 的 是 从 通道 读 取 的 操作 能 把 数据 写 入 多 个 buffer， 也 就 是 sctters 代 表 了 数据 
从 一 个 channel 到 多 个 buffer 的 过 程 。 


gathering write 则 正好 相反 ， 表 示 的 是 从 多 个 buffer 把 数据 写 入 到 一 个 channel 中 。 


Scatter/gather 在 有 些 场景 下 会 非常 有 用 ， 比 如 需要 处 理 多 份 分 开 传输 的 数据 。 举 例 来 说 ， 假 
设 一 个 消息 包含 了 header 和 body， 我 们 可 能 会 把 header 和 body 保 存在 不 同 独立 buffer 中 ， 这 
种 分 开 处 理 header 与 body 的 做 法 会 使 开发 更 简明 。 


Scattering Reads 


"scattering read" 是 把 数据 从 单个 Channel 写 入 到 多 个 buffer， 下 面 是 示意 图 : 


Java NIO: Scattering Read 


用 代码 来 表示 的 话 如 下 : 


ByteBuffer header = ByteBuffer.allocate(128); 
ByteBuffer body = ByteBuffer.allocate(1024) ; 


ByteBuffer[] bufferArray = { header, body }; 


channel.read(bufferArray) ; 


观察 代码 可 以 发 现 ， 我 们 把 多 个 buffer 写 在 了 一 个 数组 中 ， 然 后 把 数组 传递 给 channel.read() 
方法 。read() 方 法 内 部 会 负责 把 数据 按 顺序 写 进 传 入 的 buffer 数 组 内 。 一 个 buffer 写 满 后 ， 接 着 
写 到 下 一 个 buffer 中 。 


实际 上 ，scattering read 内 部 必须 写 满 一 个 buffer 后 才 会 向 后 移动 到 下 一 个 buffer， 因 此 这 并 不 
适合 消息 大 小 会 动态 改变 的 部 分 ， 也 就 是 说 ， 如 果 你 有 一 个 header 和 body， 并 且 header 有 一 
个 固定 的 大 小 (比如 128 字 节 ) ,这 种 情形 下 可 以 正常 工作 。 


Gathering Writes 


"gathering write" 把 多 个 buffer 的 数据 写 入 到 同一 个 channel 中 ， 下 面 是 示意 图 : 


Java NIO: Gathering Write 


用 代码 表示 的 话 如 下 : 


ByteBuffer header = ByteBuffer.allocate(128); 
ByteBuffer body = ByteBuffer.allocate(1024); 


//write data into buffers 

ByteBuffer[] bufferArray = { header, body }; 

channel.write(bufferArray); 
类 似 的 传 入 一 个 buffer 数 组 给 write， 内 部 机 会 按 顺序 将 数组 内 的 内 容 写 进 channel， 这 里 需要 
注意 ， 写 入 的 时 候 针 对 的 是 buffer 中 position 到 limit 之 间 的 数据 。 也 就 是 如 果 buffer 的 容量 是 


128 字 节 ， 但 它 只 包含 了 58 字 节 数 据 ， 那 么 写 入 的 时 候 只 有 58 字 节 会 丨 正 写 入 。 因 此 
gathering write 是 可 以 适用 于 可 变 大 小 的 message 的 ， 这 和 scattering reads 不 同 。 


06. Java NIO Channel to Channel Transfers 
通道 传输 接口 


万 


原文 链接 : http://tutorials.jenkov.com/java-nio/channel-to-channel-transfers.html 


e transferFrom()) 
e transferTo()) 


在 Java NIO 中 如 果 一 个 channel 是 FileChannel 类 型 的 ， 那 么 他 可 以 直接 把 数据 传输 到 另 一 个 
channel。 和 逐个 特性 得 益 于 FileChannel 包 含 的 transferTo 和 transferFrom 两 个 方法 。 


transferFrom() 
FileChannel.transferFrom 方 法 把 数据 从 通道 源 传输 到 FileChannel: 


RandomAccessFile fromFile = new RandomAccessFile("fromFile.txt", "rw"); 


FileChannel fromChannel = fromFile.getChannel(); 
RandomAccessFile toFile = new RandomAccessFile("toFile.txt", "rw"); 
FileChannel toChannel = toFile.getChannel(); 


long position = 0; 
long count = fromChannel.size(); 


toChannel.transferFrom(fromChannel, position, count); 


transferFrom 的 参数 position 和 count 表 示 目 标 文 件 的 写 入 位 置 和 最 多 写 入 的 数据 量 。 如 果 通 道 
源 的 数据 小 于 count 那 么 就 传 实际 有 的 数据 量 。 另外 ， 有 些 SocketChannel 的 实现 在 传输 时 只 
会 传输 哪些 处 于 就 绪 状态 的 数据 ， 即 使 SocketChannel 后 续 会 有 更 多 可 用 数据 。 因 此 ， 这 个 传 
输 过 程 可 能 不 会 传输 整个 的 数据 。 


transferTo() 


transferTo 方 法 把 FileChannel 数 据 传输 到 另 一 个 channel, 下 面 是 案例 : 


RandomAccessFile fromFile = new RandomAccessFile("fromFile.txt", "rw"); 
FileChannel fromChannel = fromFile.getChannel(); 


RandomAccessFile toFile = new RandomAccessFile("toFile.txt", "rw"); 
FileChannel toChannel = toFile.getChannel(); 


0; 
fromChannel.size(); 


long position 


long count 


fromChannel.transferTo(position, count, toChannel); 


这 段 代 码 和 之 前 介绍 transfer 时 的 代码 非常 相似 ， 区 别 只 在 于 调用 方法 的 是 哪个 FileChannel. 


SocketChannel 的 问题 也 存在 与 transferTo.SocketChannel 的 实现 可 能 只 在 发 送 的 buffer 卉 充满 
后 才 发 送 ， 并 结束 。 


07. Java NIO Selector:zti# 3 


原文 链接 : http://tutorials.jenkov.com/java-nio/selectors.html 


© 为 什么 使 用 Selector (Why Use a Selector? ) 
。 创建 Selector(Creating a Selector)) 
e 注册 Channel 到 Selector 上 (Registering Channels with the Selector)) 
e SelectionKey's 
o Interest Set 
o Ready Set 
o Channel + Selector 
o Attaching Objects 
e 从 Selector 中 选择 channel(Selecting Channels via a Selector)) 
o selectedKeys()) 
e wakeUp()) 
e close()) 
e Selector R | (Full Selector Example)) 


Selector 是 Java NIO 中 的 一 个 组 件 ， 用 于 检查 一 个 或 多 个 NIO Channel 的 状态 是 否 处 于 可 读 、 
可 写 。 如 此 可 以 实现 单线 程 管理 多 个 channels, 也 就 是 可 以 管理 多 个 网 络 链接 。 


为 什么 使 用 Selector (Why Use a Selector? ) 


用 单线 程 处 理 多 个 channels 的 好 处 是 我 需要 更 少 的 线程 来 处 理 channel。 实 际 上 ， 你 甚至 可 以 
用 一 个 线程 来 处 理 所 有 的 channels。 从 操作 系统 的 角度 来 看 ， 切 换 线 程 开销 是 比较 昂贵 的 ， 
并 且 每 个 线程 都 需要 占用 系统 资源 ， 因 此 暂 用 线程 越 少 越 好 。 


需要 留意 的 是 ， 现 代 操 作 系 统 和 CPU 在 多 任务 处 理 上 已 经 变 得 越 来 越 好 ， 所 以 多 线程 带 来 的 
影响 也 越 来 越 小 。 如 果 一 个 CPU 是 多 核 的 ， 如 果 不 执 行 多 任务 反而 是 浪费 了 机 器 的 性 能 。 不 
过 这 些 设 计 讨 论 是 另外 的 话题 了 。 简 而 言 之 ， 通 过 Selector 我 们 可 以 实现 单线 程 操作 多 个 
channel ° 


这 有 一 幅 示 意图 ， 描 述 了 单线 程 处 理 三 个 channel 的 情况 : 
Java NIO: A Thread uses a Selector to handle 3 Channel's 


创建 Selector(Creating a Selector) 


创建 一 个 Selector 可 以 通过 Selector.open() 方 法 : 


Selector selector = Selector.open(); 


= tt Channel! Selector +(Registering Channels 
with the Selector) 


A J FSelector## J Channel > 我们 必须 先 把 Channel 注 册 到 Selector 上 ， 这 个 操作 使 用 
SelectableChannel ° register() : 


channel.configureBlocking( false) ; 
SelectionKey key = channel.register(selector, SelectionKey.OP_READ); 


Channels ii Æ 3E MR hY © AT VAFileChannel % 3€ M Selector > Al A FileChannel % 4% 47 4% A FE 
阻塞 模式 。Socket channel 可 以 正常 使 用 。 


注意 register 的 第 二 个 参数 ， 这 个 参数 是 一 个 “关注 集合 "， 代 表 我 们 关注 的 channel 状 态 ， 有 四 
种 基础 类 型 可 供 监听 : 


Connect 
Accept 
Read 
Write 


a O N > 


oes 了 一 个 事件 也 可 视 作 该 事件 处 于 就 绪 状 态 。 因 此 当 channe| 与 Server 连 接 成 功 
， 那么 就 是 “连接 就 绪 " 状 态 。server channel 接 收 请 — 接 时 处 于 “可 连接 就 绪 " 状 态 。 
可 读 时 处 于 "“ 读 就 绪 ? 状 态 。channel 可 以 进行 数据 写 入 时 处 于 “ 写 就 绪 ? 状 态 。 


上 述 的 四 种 就 绪 状 态 用 SelectionKey 中 的 常量 表示 如 下 : 


1. SelectionKey.OP_CONNECT 

2. SelectionKey.OP_ACCEPT 

3. SelectionKey.OP_READ 

4. SelectionKey.OP_WRITE 

如 果 对 多 个 事件 感 兴 趣 可 利用 位 的 或 运算 结合 多 个 常量 ， 比 如 : 


int interestSet = SelectionKey.OP_READ | SelectionKey.OP_WRITE; 


SelectionKey's 


在 上 一 小 节 中 ， 我 们 利用 register 方 法 把 Channel 注 册 到 了 Selectors 上 ， 这 个 方法 的 返回 4 
SelectionKeys， 这 个 返回 的 对 象 包含 了 一 些 比较 有 价值 的 属性 : 


E 
ia) 


e The interest set 
e The ready set 
The Channel 
The Selector 


An attached object (optional) 


这 5 个 属性 都 代表 什么 含义 呢 ? 下 面 会 一 一 介绍 。 


Interest Set 
这 个 “关注 集合 "实际 上 就 是 我 们 希望 处 理 的 事件 的 集合 ， 它 的 值 就 是 注册 时 传 入 的 参数 ， 我 们 
可 以 用 按 为 与 运算 把 每 个 事件 取出 来 : 

int interestSet = selectionKkKey.interestOps(); 


boolean isInterestedInAccept = interestSet & SelectionKey.OP_ACCEPT; 
boolean isInterestedInConnect = interestSet & SelectionKey.OP_CONNECT; 


boolean isInterestedInRead = interestSet & SelectionKey.OP_READ; 
boolean isInterestedInwWrite = interestSet & Selectionkey.OP_WRITE; 
Ready Set 


"就 绪 集合 "中 的 值 是 当前 channel 处 于 就 绪 的 值 ， 一 般 来 说 在 调用 了 select 方 法 后 都 会 需要 用 到 
就 绪 状 态 ，select 的 介绍 在 胡须 文章 中 继续 展开 。 


int readySet = selectionKey.readyOps(); 


从 “就绪 集合 "中 取 值 的 操作 类 似 月 “关注 集合 "的 操作 ， 当 然 还 有 更 简单 的 方法 ，SelectionKey 
提供 了 一 系列 返回 值 为 boolean 的 的 方法 : 


selectionkey.isAcceptable(); 
selectionkey.isConnectable(); 
selectionkey.isReadable(); 
selectionkey.isWritable(); 


Channel + Selector 


从 SelectionKey 操 作 Channel 和 Selector 非 常 简单 : 


Channel channel = selectionKey.channel(); 
Selector selector = selectionKey.selector(); 


Attaching Objects 


我 们 可 以 给 一 个 SelectionKey 附 加 一 个 Object， 这 样 做 一 方面 可 以 方便 我 们 识别 某 个 特定 的 
channel， 同 时 也 增加 了 channel 相 关 的 附加 信息 。 例 如 ， 可 以 把 用 于 channel 的 buffer 附 加 到 
SelectionKey 上 : 


selectionkey.attach(theObject); 


Object attachedObj = selectionKey.attachment(); 


附加 对 象 的 操作 也 可 以 在 register 的 时 候 就 执行 : 


SelectionKey key = channel.register(selector, SelectionKey.OP_READ, theObject); 


Selector ? 27% channel(Selecting Channels 
via a Selector) 


一 旦 我 们 向 Selector 注 册 了 一 个 或 多 个 channel 后 ， 就 可 以 调用 select 来 获取 channel。select 方 
法 会 返回 所 有 处 于 就 绪 状态 的 channel 。 select 方 法 具体 如 下 : 


e int select() 
e int select(long timeout) 
e int selectNow() 


select() 方 法 在 返回 channel 之 前 处 于 阻塞 状态 。 select(long timeout) 和 select 做 的 事 一 样 ， 不 
过 他 的 阻塞 有 一 个 超时 限制 。 


selectNow() 不 会 阻塞 ， 根 据 当 前 状态 立刻 返回 合适 的 channel。 


Select() 方 法 的 返回 值 是 一 个 int 整 形 ， 代 表 有 多 少 channel 处 于 就 绪 了 。 也 就 是 自 上 一 次 select 
后 有 多 少 channel 进 入 就 绪 。 举 例 来 说 ， 假 设 第 一 次 调用 select 时 正好 有 一 个 channel 就 绪 ， 那 
么 返回 值 是 1， 并 且 对 这 个 channel 做 任何 处 理 ， 接 着 再 次 调用 select， 此 时 恰好 又 有 一 个 新 的 
channel 就 绪 ， 那 么 返回 值 还 是 1， 现 在 我 们 一 共有 两 个 channel 处 于 就 绪 ， 但 是 在 每 次 调用 
select 时 只 有 一 个 channel 是 就 绪 的 。 


selectedKeys() 


在 调用 select 并 返回 了 有 channel 就 绪 之 后 ， 可 以 通过 选中 的 key 集 合 来 获取 channel， 这 个 操 
作 通 过 调用 selectedKeys() 方 法 : 


Set<Selectionkey> selectedKeys = selector.selectedKeys(); 


还 记得 在 register 时 的 操作 吧 ， 我 们 register 后 的 返回 值 就 是 SelectionKey 实 例 ， 也 就 是 我 们 现 
在 通过 selectedKeys() 方 法 所 返回 的 SelectionKey。 


遍历 这 些 SelectionKey 可 以 通过 如 下 方法 : 


Set<Selectionkey> selectedKeys = selector.selectedKeys(); 
Iterator<SelectionKey> keyIterator = selectedKeys.iterator(); 
while(keyIterator.hasNext()) { 

Selectionkey key = keyIterator.next(); 


if(key.isAcceptable()) { 
// a connection was accepted by a ServerSocketChannel. 


} else if (key.isConnectable()) { 
// a connection was established with a remote server. 


} else if (key.isReadable()) { 
// a channel is ready for reading 


} else if (key.isWritable()) { 


// a channel is ready for writing 


keyIterator.remove(); 


上 述 循环 会 迭代 key 集 合 ， 针 对 每 个 Key 我 们 单独 判断 他 是 处 于 何 种 就 绪 状 态 。 


注意 keylteraterremove() 方 法 的 调用 ，Selector 本 身 并 不 会 移 除 SelectionKey 对 象 ， 这 个 操作 
需要 我 们 收 到 执行 。 当 下 次 channel 处 于 就 绪 是 ，Selector 任 然 会 吧 这 些 key 再 次 加 入 进来 。 


SelectionKey.channel 返 回 的 channel 实 例 需要 强 转 为 我 们 实际 使 用 的 具体 的 channel 类 型 ， 例 
如 ServerSocketChannel 或 SocketChannel. 


wakeUp() 


y 由 于 调用 select 而 被 阻塞 的 线程 ， 可 以 通过 调用 Selector.wakeup() 来 唤醒 即便 此 时 已 然 没 有 
channel 处 于 就 绪 状 态 。 具 体操 作 是 ， 在 另外 一 个 线程 调用 wakeup， 被 阻塞 与 select 方 法 的 线 
程 就 会 立刻 返回 。 


close() 


当 操 作 Selector 完 毕 后 ， 需 要 调用 close 方 法 。close 的 调用 会 关闭 Selector 并 使 相关 的 
SelectionKey 都 无 效 。channel 本 身 不 管 被 关闭 。 


Z% hg Selector & | (Full Selector Example) 


这 有 一 个 完整 的 和 案例， 首先 打开 一 个 Selector 然后 注册 channel， 最 后 锦 亭 Selector 的 状态 : 


Selector selector = Selector.open(); 


channel.configureBlocking( false) ; 


SelectionkKey key = channel.register(selector, SelectionKey.OP_READ); 


while(true) { 


int readyChannels = selector.select(); 


if(readyChannels == ©) continue; 


Set<SelectionkKey> selectedKeys = selector.selectedKeys(); 


Iterator<SelectionKey> keyIterator = selectedKeys.iterator(); 


while(keyIterator.hasNext()) { 


Selectionkey key = keyIterator.next(); 


if(key.isAcceptable()) { 
// a connection was accepted by a ServerSocketChannel. 


} else if (key.isConnectable()) { 
// a connection was established with a remote server. 


} else if (key.isReadable()) { 
// a channel is ready for reading 


} else if (key.iswWritable()) { 
// a channel is ready for writing 


keyIterator.remove(); 


08. Java NIO FileChannel X #74 74 


原文 链接 : http://tutorials.jenkov.com/java-nio/file-channel.html 


e 打开 文件 通道 (Opening a FileChannel) 

© 从 文件 通道 内 读 取 数 据 (Reading Data from a FileChannel ) 
e 向 文件 通道 写 入 数据 (Writing Data to a FileChannel ) 

e 关闭 通道 (Closing a FileChannel) 

e FileChannel Position 

e FileChannel Size 

e FileChannel Truncate 

e FileChannel Force 


Java NIO 中 的 FileChannel 是 用 于 连接 文件 的 通道 。 通 过 文件 通道 可 以 读 、 写 文件 的 数据 。 
Java NIO 的 FileChannel 是 相对 标准 Java IO API 的 可 选 接 口 。 


FileChannel 不 可 以 设置 为 非 阻塞 模式 ， 他 只 能 在 阻塞 模式 下 运行 。 


打开 文件 通 S opang a FileChannel ) 


在 使 用 FileChannel 前 必须 打开 通道 ， 打 开 一 个 文件 通道 需要 通过 输入 /输出 流 或 者 
RandomAccessFile ， eee ae 例 : 


RandomAccessFile aFile = new RandomAccessFile("data/nio-data.txt", "rw"); 
FileChannel inChannel = aFile.getChannel(); 


从 文件 通道 内 读 取 数据 (Reading Data from a 
FileChannel ) 


读 取 文件 通道 的 数据 可 以 通过 read 方 法 : 


ByteBuffer buf = ByteBuffer.allocate(48); 
int bytesRead = inChannel.read(buf); 


首先 开辟 一 个 Buffer， 从 通道 中 读 取 的 数据 会 写 入 Buffer 内 。 接 着 就 可 以 调用 read 方 法 ，read 
的 返回 值 代 表 有 多 少 字 节 被 写 入 了 Buffer， 返 回 -1 则 表示 已 经 读 取 到 文件 结尾 了 。 


向 文件 通道 写 入 数据 (Writing Data to a 
FileChannel ) 


写 数 据 用 write 方法 ， 入 参 是 Buffer : 


String newData = "New String to write to file..." + System.currentTimeMillis(); 
ByteBuffer buf = ByteBuffer.allocate(48); 

buf.clear(); 

buf .put(newData.getBytes()); 

buf .flip(); 

while(buf.hasRemaining()) { 


channel.write(buf); 


} 


A E Owrite A 5 Æ T wiht IKE & > aa A A write n EREA S PRE E ERIA 
因此 需要 循环 写 入 直到 没有 更 多 数据 。 

关闭 通道 (Closing a FileChannel ) 

操作 完毕 后 ， 需 要 把 通道 关闭 : 


channel.close(); 


FileChannel Position 


当 操 作 FileChannel 的 时 候 读 和 写 都 是 基于 特定 起 始 位 置 的 (position) ， 获 取 当 前 的 位 置 可 以 
用 FileChannel 的 position() 方 法 ， 设 置 当前 位 置 可 以 用 带 参数 的 position(long pos) 方 法 。 


long pos channel.position(); 


channel.position(pos +123); 


假设 我 们 把 当前 位 置 设置 为 文件 结尾 之 后 ， 那 么 当 我 们 视图 从 通道 中 读 取 数 据 时 就 会 发 现 返 
回 值 是 -1， 表 示 已 经 到 达 文 件 结尾 了 。 如 果 把 当前 位 置 设置 为 文件 结尾 之 后 ， 在 想 通道 中 写 
入 数据 ， 文 件 会 自动 扩展 以 便 写 入 数据 ， 但 是 这 样 会 导致 文件 中 出 现 类 似 空洞 ， 即 文件 的 一 
些 位 置 是 没有 数据 的 。 


FileChannel Size 
size() 方 法 可 以 返回 FileChannel 对 应 的 文件 的 文件 大 小 : 


long fileSize = channel.size(); 


FileChannel Truncate 
利用 truncate 方 法 可 以 截取 指定 长 度 的 文件 : 


channel.truncate(1024); 


FileChannel Force 


force 方 法 会 把 所 有 未 写 磁盘 的 数据 都 强制 写 入 磁盘 。 这 是 因为 在 操作 系统 中 出 于 性 能 考虑 回 
把 数据 放 入 缓冲 区 ， 所 以 不 能 保证 数据 在 调用 write 写 入 文件 通道 后 就 及 时 写 到 磁盘 上 了 ， 除 
非 手 动 调 用 force 方 法 。force 方 法 需要 一 个 布尔 参数 ， 代 表 是 否 把 meta data 也 一 并 强制 写 
入 o 


channel.force(true); 


09. Java NIO SocketChannel 套 接 字 通道 


原文 链接 : http://tutorials.jenkov.com/java-nio/socketchannel.html 


e 建立 一 个 SocketChannel 连 接 
© 关闭 一 个 SocketChannel 连 接 
e 从 SocketChannel 中 读数 据 
e 向 SocketChannel 写 数据 
。 非 阻塞 模式 

o connect()) 

o write()) 

o read()) 

o Selector 结 合 非 阻塞 模式 


在 Java NIO 体 系 中 ，SocketChannel 是 用 于 TCP 网 络 连接 的 套 接 字 接 口 ， 相 当 于 Java 网 络 编 
程 中 的 Socket 套 接 字 接口 。 创 建 SocketChannel 主 要 有 两 种 方式 ， 如 下 : 


1. 打开 一 个 SocketChannel 并 连接 网 络 上 的 一 人 台 服 务 器 。 
2， 当 ServerSocketChannel 接 收 到 一 个 连接 请 求 时 ， 会 创建 一 个 SocketChannel。 


建立 一 个 SocketChannel 连 接 
打开 一 个 SocketChannel 可 以 这 样 操作 : 


SocketChannel socketChannel = SocketChannel.open(); 
socketChannel.connect(new InetSocketAddress("http://jenkov.com", 80)); 


关闭 一 个 SocketChannel 连 接 


关闭 一 个 SocketChannel 只 需要 调用 他 的 close 方 法 ， 如 下 : 


socketChannel.close(); 


从 SocketChannel 中 读数 据 


从 一 个 SocketChannel 连 接 中 读 取 数据 ， 可 以 通过 read() 方 法 ， 如 下 : 


ByteBuffer buf = ByteBuffer.allocate(48); 


int bytesRead = socketChannel.read(buf); 


首先 需要 开辟 一 个 Buffer。 从 SocketChannel 中 读 取 的 数据 将 放 到 Buffer 中 。 


接 下 来 就 是 调用 SocketChannel 的 read() 方 法 .这 个 read() 会 把 通道 中 的 数据 读 到 Buffer 中 。 
read() 方 法 的 返回 值 i ， 代表 此 次 有 多 少 字 节 的 数据 被 写 入 了 Buffer 中 。 如 果 返 回 
的 是 -1, 那 么 意味 着 通道 内 的 数据 已 经 读 取 完 毕 ， 到 底 了 (链接 关闭 ) 。 


向 SocketChannel 写 数据 


向 SocketChannel 中 写 入 数据 是 通过 write() 方 法 ，write 也 需要 一 个 Buffer 作 为 参数 。 下 面 看 一 
下 具体 的 示例 : 
String newData = "New String to write to file..." + System.currentTimeMillis(); 
ByteBuffer buf = ByteBuffer.allocate(48); 
buf.clear(); 
buf .put(newData.getBytes()); 


buf .flip(); 


while(buf.hasRemaining()) { 
channel.write(buf); 


} 


仔细 观察 代码 ， 这 里 我 们 把 write() 的 调用 放 在 了 while 循 环 中 。 这 是 因为 我 们 无 法 保证 在 write 
的 时 候 实际 写 入 了 多 少 字 节 的 数据 ， 因 此 我 们 通过 一 个 循环 操作 ， 不 断 把 Buffer 中 数据 写 入 到 
SocketChannel 中 知道 Buffer 中 的 数据 全 部 写 入 为 止 。 


非 阻 塞 模式 


我 们 可 以 吧 SocketChannel 设 置 为 non-blocking ( 非 阻塞 ) 模式 。 这 样 的 话 在 调用 connect()， 
read(), write() 时 都 是 异步 的 。 


connect() 


如 果 我 们 设置 了 一 个 SocketChannel 是 非 阻 塞 的 ， 那 么 调用 connect() 后 ， 方 法 会 在 链接 建立 
前 就 直接 返回 。 为 了 检查 当前 链接 是 否 建立 成 功 ， 我 们 可 以 调用 finishConnect(), 如 下 : 


socketChannel.configureBlocking(false); 
socketChannel.connect(new InetSocketAddress("http://jenkov.com", 80)); 


while(! socketChannel.finishConnect() ){ 


//wait, or do something else... 


} 


write() 


在 非 阻塞 模式 下 ， 调 用 write() 方 法 不 能 确保 方法 返回 后 写 入 操作 一 定 得 到 了 执行 。 因 此 我 们 需 
要 把 write() 调 用 放 到 循环 内 。 这 和 前 面 在 讲 write() 时 是 一 样 的 ， 此 处 就 不 在 代码 演示 。 


read() 
在 非 阻塞 模式 下 ， 调 用 read() 方 法 也 不 能 确保 方法 返回 后 ， 确 实 读 到 了 数据 。 因 此 我 们 需要 自 
己 检 查 的 整 型 返回 值 ，i se ENING AEE 少 字 节 的 数据 。 


Selector 结 合 非 阻塞 模式 


SocketChannel 的 非 阻塞 模式 可 以 和 Selector 很 好 的 协同 工作 。 把 一 个 活 多 个 SocketChannel 
注册 到 一 个 Selector 后 ， 我 们 可 以 通过 Selector 指 导 哪 些 channels 通 道 是 处 于 可 读 ， 可 写 等 等 
状态 的 。 后 续 我 们 会 再 详细 阅 述 如 果 联 合 使 用 Selector 与 SocketChannel。 
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e 打开 ServerSocketChannel 
e 关闭 ServerSocketChannel 
o 监听 链接 


在 Java NIO 中 ，ServerSocketChannel 是 用 于 监听 TCP 链 接 请 求 的 通道 ， 正 如 Java 网 络 编程 
中 的 ServerSocket 一 样 。 


ServerSocketChannel 实 现 类 位 于 java.nio.channels 包 下 面 。 下 面 是 一 个 示例 程序 : 


ServerSocketChannel serverSocketChannel = ServerSocketChannel.open(); 


serverSocketChannel.socket().bin(new InetSocketAddress(9999) ); 
while(true) { 


SocketChannel socketChannel = serverSocketChannel.accept(); 
//do something with socketChannel... 


} 


打开 ServerSocketChannel 
打开 一 个 ServerSocketChannel 我 们 需要 调用 他 的 open() 方 法 ， 例 如 : 


ServerSocketChannel serverSocketChannel = ServerSocketChannel.open(); 


* A ServerSocketChannel 


关闭 一 个 ServerSocketChannel 我 们 需要 调用 他 的 close() 方 法 ， 例 如 : 


serverSocketChannel.close(); 


es OT HE 4K 


通过 调用 accept() 方 法 ， 我 们 就 开始 监听 端口 上 的 请 求 连 接 。 当 accept() 返 回 时 ， 他 会 返 
个 SocketChannel 连 接 实例 ， 实 际 上 accept() 是 阻塞 操作 ， 他 会 阻塞 带 去 线程 知道 返 Se 
接 ; 很 多 时 候 我 们 是 不 满足 于 监听 一 个 连接 的 ， 因 此 我 们 会 把 accept() 的 调用 放 到 循环 中 ， 就 
像 这 样 : 

while(true) { 


SocketChannel socketChannel = serverSocketChannel.accept(); 
//do something with socketChannel... 


RRA AAMA A to Ed 04) PT > He Bh EwhilessA Y Strue > Viste 
结束 循环 监听 ; 


FF MB BER 


实际 上 ServerSocketChannel 是 可 以 设置 为 非 阻塞 模式 的 。 在 非 阻塞 模式 下 ， 调 用 accept() 函 
数 会 立刻 返回 ， 如 果 当 前 没有 请 Ta ， 那么 返回 值 为 定 null。 因 此 我 们 需要 手动 检查 返回 
的 SocketChannel 是 否 为 室 ， 例 如 


ServerSocketChannel serverSocketChannel = ServerSocketChannel.open(); 


serverSocketChannel.socket().bind(new InetSocketAddress(9999) ); 
serverSocketChannel.configureBlocking(false); 


while(true) { 
SocketChannel socketChannel = serverSocketChannel.accept(); 


if(socketChannel != null){ 
//do something with socketChannel... 
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e 非 阻塞 服 务 -GitHub 源 码 仓 (Non-blocking Server - GitHub Repository ) 
e 非 阻 塞 IO 通道 【Non-blocking IO Pipelines ) 
。 非 阻 塞 和 阻塞 通道 比较 (Non-blocking vs. Blocking IO Pipelines ) 
o 阻塞 IO 通道 的 缺点 〈Blocking IO Pipeline Drawbacks ) 
e 基础 的 非 阻 塞 通道 设计 (Basic Non-blocking IO Pipeline Design ) 
。 读 取 部 分 信息 (Reading Partial Messages)) 
e 存储 不 完整 的 Message (Storing Partial Messages) 
o 为 每 个 Message Reade 分 配 Buffer (A Buffer Per Message Reader) 
o 可 伸缩 Buffer (Resizable Buffers ) 
o 拷贝 扩容 (Resize by Copy) 
o 追加 扩容 (Resize by Append) 
o TLV % 43 74 .&(TLV Encoded Messages)) 
e 写 不 完整 的 消息 (Writing Partial Messages) 
e 集成 (Putting it All Together ) 
e 服务 器 线程 模型 (Server Thread Model) 


现在 我 们 已 经 知道 了 Java NIO 里 面 那些 非 阻 塞 特性 是 怎么 工作 的 ， 但 是 要 设计 一 个 非 阻 塞 的 
服务 仍 晶 比较 困难 。 非 阻塞 ID 相对 传统 的 阻塞 ID 给 开发 者 带 来 了 更 多 的 挑战 。 在 本 节 非 阻塞 
服务 的 讲解 中 ， 我 们 一 起 来 讨论 这 些 会 面临 的 主要 挑战 ， 同 时 也 会 给 出 一 些 潜在 的 解决 方 
Ea o 


查找 关于 设计 非 阻塞 服务 的 相关 资料 是 比较 难 的 ， 本 文 提出 能 是 基于 笔者 个 
人 的 工作 经 验 ， 构 思 。 如 果 你 有 其 他 的 解决 方案 或 者 是 更 好 的 点 子 ， 那 么 还 请 ane 你 
可 以 在 文章 下 方 的 评论 区 回复 ， 或 者 可 以 给 我 发 送 邮件 ， 也 可 以 直接 在 Twitter 上 联系 我 。 


虽然 本 文 介绍 的 一 些 点 子 是 为 Java NIO 设 计 的 ， 但 是 我 相信 这 些 思 路 同样 适用 于 其 他 编程 语 
言 ， 只 要 他 们 也 存在 和 Selector 类 似 结构 ， 概 念 。 就 目前 我 的 了 解 来 说 ， 这 些 结构 底层 OS 提 
供 的 ， 所 以 基本 上 你 可 以 运用 到 其 他 编程 语言 中 去 。 


非 阻 蛤 服务 -GitHub 浙 码 仓 (Non-blocking Server 
- GitHub Repository ) 


为 了 演示 本 文 探 讨 的 一 些 技术 ， 笔 者 已 经 在 GitHub 上 面 建立 了 相应 的 源码 仓 ， 地 址 如 下 : 


https://github.com/jjenkov/java-nio-server 


非 阻塞 IO 通道 (Non-blocking IO Pipelines ) 


非 阻塞 的 IO 管道 (Non-blocking IO Pipelines) 可 以 看 做 是 整个 非 阻塞 IO 处 理 过 程 的 链条 。 
括 在 以 非 阻塞 形式 进行 的 读 与 写 操作 。 下 面 有 一 张 插图 ， 简 单 的 描述 了 一 个 基础 的 非 和 
IO 管道 (Non-blocking IO Pipelines ) 


我 们 的 组 件 (Component) 通过 Selector 检 查 当 前 Channel 是 否 有 数据 we 。 此 时 
component 读 入 数据 ， 并 且 根 据 输 入 的 数据 input 对 外 提供 数据 输出 output。 这 个 对 外 的 数据 输 
出 output 被 写 到 了 另 一 个 Channel 中 。 


一 个 非 阻塞 的 IO 管道 不 必 同 时 需要 读 和 写 数据 ， 通 常 来 说 有 些 管 道 只 需要 读数 据 ， 而 另 一 些 
管道 则 只 需 写 数据 ° 


上 面 的 这 幅 流程 图 仅仅 展示 了 一 个 组 件 。 实 际 上 一 个 管道 可 能 存在 多 个 component 在 处 理 输 
入 数据 。 管 道 的 长 度 取决 于 管道 具体 要 做 的 事情 。 


当然 一 个 非 阻塞 的 ID 管道 他 也 可 以 同时 从 多 个 Channel 中 读 取 数 据 ， 例 如 同时 冲 多 个 
SocketChannel 中 读 取 数 据 ; 


上 面 的 流程 图 实际 上 被 简化 了 ， 图 中 的 Component 实 际 上 负责 初始 化 Selector， 从 Channel 中 
读 取 数据 ， 而 不 是 由 Channel 往 Selector 压 如 数据 (push) ， 这 是 简化 的 上 图 容易 给 人 带 来 的 
误解 。 


非 阻 塞 和 阻塞 通道 比较 (Non-blocking vs. 
Blocking IO Pipelines ) 


非 阻塞 IO 管道 和 阻塞 IO 管道 之 间 最 大 的 区 别 是 他 们 各 自如 何 从 Channel ( 套 接 字 socket 或 文件 
file) 读 写 数据 。 


IO 管 道 通常 直接 从 流 中 (来自 于 socket 活 fle 的 流 ) 读 取 数据 ， 然 后 把 数据 分 割 为 连续 的 消 
息 。 这 个 处 理 与 我 们 读 取 流 信息 ees 行 解析 非常 相似 。 不 同 的 是 我 们 在 这 里 会 把 
数据 流 分 割 为 更 大 一 些 的 消息 块 。 我 把 这 个 过 程 叫做 Message Reader. 下 面 是 一 张 说 明 的 插 
图 : 


一 个 阻塞 IO 管道 的 使 用 可 以 和 输入 流 一 样 调 用 ， 每 次 从 Channel 中 读 取 一 个 字 节 的 数据 ， 阻 塞 
自身 直到 有 数据 可 读 。 这 个 流程 就 是 一 个 阻塞 的 Messsage Reader 实 现 。 


使 用 阻塞 ID 大 大 简化 了 Message Reader 的 实现 成 本 。 阻 塞 的 Message Reader 无 需 关注 没有 
数据 返回 的 情形 ， 无 需 关注 返回 部 分 数据 或 者 数据 解析 需要 被 复 用 的 问题 。 


相似 的 ， 一 个 阻塞 的 Message Writer 也 不 需要 关注 写 入 部 分 数据 ， 和 数据 复 用 的 问题 。 


阻塞 IO 通道 的 缺点 (Blocking IO Pipeline Drawbacks ) 


上 面 提 到 了 阻塞 的 Message Reader 易 于 实现 ， 但 是 阻塞 也 给 他 带 了 不 可 避免 的 缺点 ， 必 须 为 
每 个 数据 数量 都 分 配 一 个 单独 线程 。 原 因 就 在 于 IO 接口 在 读 取 数 据 时 在 有 数据 返回 前 会 一 直 
被 阻塞 住 。 cee iain et gia age er ein Tad 
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如 果 这 样 的 IO 管道 运用 到 服务 器 去 处 理 高 并 发 的 链接 请 求 ， 服 务 器 将 不 得 不 为 每 一 个 到 来 的 

链接 分 配 一 个 单独 的 线程 。 如 果 并 发 数 不 高 比如 每 一 时 刻 只 有 几 百 并 发 ， 也 行 不 会 有 太 大 问 

题 。 一 旦 服务 器 的 并 发 数 上 升 到 百 万 级 别 ， ia as a 性 。 每 个 线程 需要 为 堆栈 分 

配 320KB 到 1024KB(64 位 JVM) 的 内 存 空间 。 这 就 是 说 如 果 有 1,000,000 个 线程 ， 
需要 1TB 的 内 存 。 而 这 些 在 还 没 开 始 申 正 处 理 接收 到 的 消息 前 就 需要 (消息 处 理 中 还 需要 为 对 
象 开拍 内 存 ) 。 


为 了 减少 线程 数 ， 很 多 服务 器 都 设计 了 线程 池 ， 把 所 有 接收 到 的 请 求 放 到 队列 内 ， 每 次 读 取 
一 条 连接 进行 处 理 。 这 种 设计 可 以 用 下 图 表示 : 


但 是 这 种 设计 要 求 缓冲 的 连接 进程 发 送 有 意义 的 数据 。 如 果 这 些 连 接 长 时 间 处 于 非 活跃 的 状 
态 ， 那 么 大 量 非 活跃 的 连接 会 阻塞 线程 池 中 的 所 有 线程 。 这 会 导致 服务 器 的 响应 速度 特别 慢 
甚至 无 响应 。 


有 些 服 务 器 为 了 减轻 这 个 问题 ， 采 取 的 操作 是 适当 增加 线程 池 的 弹性 。 例 如 ， 当 线程 池 所 有 
线程 都 处 于 饱和 时 ， 线 程 池 可 能 会 自动 扩容 ， 局 动 更 多 的 线程 来 处 理事 务 。 这 个 解决 方案 会 
使 得 服务 器 维护 大 量 不 活跃 的 链接 。 但 是 需要 谨 记 服务 器 所 能 开辟 的 线程 数 是 有 限制 的 。 所 
有 当 有 1,000,000 个 低速 的 链接 时 ， 服 务 器 还 是 不 具备 伸缩 性 。 


基础 的 非 阻 鉴 通道 设计 〈Basic Non-blocking IO 
Pipeline Design ) 


一 个 非 阻塞 的 IO 通道 可 以 用 单线 程 读 取 多 个 数据 流 。 这 个 前 提 是 相关 的 流 可 以 切换 为 非 阻塞 
模式 (并 不 是 所 有 流 都 可 以 以 非 阻塞 形式 操作 ) ee ee ot 
或 多 个 字 节 。 如 果 流 还 没有 可 供 读 取 的 数据 那么 就 会 返回 0， 其 他 大 于 1 的 返回 都 表明 这 

际 读 取 到 的 数据 ; 


为 了 避 开 没有 数据 可 读 的 流 ， 我 们 结合 Java NIO 中 的 Selector。 一 个 Selector 可 以 注册 多 个 
SelectableChannel È 4) ° 4 44/174 A select()selectorNow() 7%  # Selector S34 9 — 4% žk 
据 可 读 的 SelectableChannel 实 例 。 这 个 设计 可 以 如 下 插图 : 


读 取 部 分 信息 (Reading Partial Messages) 


当 我 们 冲 SelectableChannel 中 读 取 一 段 数据 后 ， 我 们 并 不 知道 这 段 数据 是 否 是 完整 的 一 个 
message。 因 为 一 个 数据 段 可 能 包含 部 分 message， 也 就 是 说 即 可 能 少 于 一 个 message， 也 
可 能 多 一 个 message， 正 如 下 面 这 张 插图 所 示意 的 那样 : 


要 处 理 这 种 截断 的 message， 我 们 会 遇 到 两 个 问题 : 


1. 检测 数据 段 中 是 否 包 含 一 个 完整 的 message 
部 分 


2. 在 message 剩 余部 分 获取 到 之 前 ， 我 们 如 何 处 理 不 完整 的 message 


检测 完 Eo *AMessage Reader 查 看 数据 段 中 的 数据 是 否 至 少 包 含 一 个 完整 的 
message。 如 果 和 包含 一 个 或 多 个 完整 message， 这 些 message 可 以 被 下 发 到 通道 中 处 理 。 
找 完 eae 程 是 个 大 量 重 复 的 操作 ， 所 以 这 个 操作 必须 是 越 快 越 好 的 。 


当 数 据 段 中 pages 整 的 message 时 ， 无 论 不 完整 消息 是 整个 数据 段 还 是 说 在 完整 
message 前 后 ， 这 个 不 完整 的 message 数 据 都 需要 在 剩余 部 分 获得 前 存储 起 来 。 


检查 message 完 整 性 和 存储 不 完整 message 都 是 Message Reader 的 职责 。 为 了 避免 混淆 来 自 
不 同 Channel 的 数据 ， 我 们 为 每 一 个 Channel 分 配 一 个 Message Reader。 整 个 设计 大 概 是 这 
样 的 : 


当 我 们 通过 Selector 获 取 到 一 个 有 数据 可 以 读 取 的 Channel 之 后 ， 改 Channel 关 联 的 sa 
Reader 会 读 取 数据 ， 并 且 把 数据 打 断 为 Message 块 。 得 到 完整 的 message 后 就 可 以 通过 通道 
下 发 到 其 他 组 件 进行 处 理 。 


一 个 Message Reader 自 然 是 协议 相关 的 。 他 需要 知道 message 的 格式 以 便 读 取 。 如 果 我 们 的 
服务 器 是 跨 协 议 复 用 的 ， 那 他 必须 实现 Message Reader 的 协议 -大 致 类 似 于 接收 一 个 
Message Reader 工 厂 作 为 配置 参数 。 


存储 不 完整 的 Message (Storing Partial 
Messages ) 


现在 我 们 PAR 了 Reader 负 责 不 完整 消息 的 存储 直到 接收 到 完整 的 消息 。 闲 杂 
我 们 还 需要 知道 这 个 存储 过 程 需要 如 何 来 实现 。 


在 设计 的 时 候 我 们 需要 考虑 两 个 关键 因素 : 


. 我们 希望 在 拷贝 消息 数据 的 时 候 数 据 量 能 尽 可 能 的 小 ， 拷 贝 量 越 大 则 性 能 相对 越 低 ; 
Do a oe 


为 每 个 Message Reade A¢Buffer (A Buffer Per Message 
Reader ) 


显然 不 完整 的 消息 数据 需要 存储 在 某 种 buffer 中 。 比 较 直 接 的 办 为 每 个 Message 
Reader 都 分 配 一 个 内 部 的 buffer 成 员 。 但 是 ， 多 大 的 buffer 才 合适 呢 ? 这 个 buffer 必 须 能 存储 下 
一 个 message 最 大 的 大 小 。 如 果 一 个 message 最 大 是 1IMB， 那 每 个 Message Reader 内 部 的 
buffer 就 至 少 有 1MB 大 小 。 


在 百 万 级 别 的 并 发 链接 数 下 ，1MB 的 buffer 基 本 没 法 正常 工作 。 举 例 来 说 ，1,000,000 x 1MB 
就 是 1TB 的 内 存 大 小 ! 如 果 消 息 的 最 大 数据 量 是 16MB 又 需要 多 少 内 存 呢 ?128MB 呢 ? 


可 伸缩 Buffer (Resizable Buffers ) 


另 一 个 方案 是 在 每 个 Message Reader 内 部 维护 一 个 容量 可 变 的 buffer。 一 个 可 变 的 buffer 在 初 
始 化 时 占用 较 少 控件 ， 在 消息 变 得 很 大 超出 容量 时 自动 扩容 。 这 样 每 个 链接 就 不 需要 都 占用 
比如 1MB 的 空间 。 每 个 链接 只 使 用 承载 下 一 个 消息 所 必须 的 内 存 大 小 。 


要 实现 一 个 可 伸缩 的 buffer 有 几 种 不 同 的 办 法 。 每 一 种 都 有 它 的 优 缺 点 ， 下 面 几 个 小 结 我 会 过 
一 讨论 它们 。 
拷贝 扩容 (Resize by Copy) 


第 一 种 实现 可 伸缩 buffer 的 办 法 是 初始 化 buffer 的 时 候 只 申请 较 少 的 空间 ， 比 如 4KB。 如 果 消 
息 超出 了 4KB 的 大 小 那么 开 赔 一 个 更 大 的 空间 ， 上 比如 8KB， 然 后 把 4KB 中 的 数据 拷贝 纸 8KB 的 
内 存 块 中 。 


以 拷贝 方式 扩容 的 优点 是 一 个 消息 的 全 部 数据 都 被 保存 在 了 一 个 连续 的 字 节 数组 中 。 这 使 得 
数据 解析 变 得 更 加 容易 。 


同时 它 的 缺点 是 会 增加 大 量 的 数据 拷贝 操作 。 


为 了 减少 数据 的 捞 贝 操作 ， 你 可 以 分 析 整 个 消息 流 中 的 消息 大 小 ， 一 次 来 找到 最 适合 当前 机 
器 的 可 以 减少 拷贝 操作 的 buffer 大 小 。 例 如 ， 你 可 能 会 注意 到 觉 大 多 数 的 消息 都 是 小 于 4KB 
的 ， 因 为 他 们 仅仅 包含 了 一 个 非常 请 求 和 响应 。 这 意味 着 消息 的 处 所 荣 校 应 该 设置 为 4KB。 


同时 ， 你 可 能 会 发 现 如 果 一 个 消息 大 于 4KB， 很 可 能 是 因为 他 包含 了 一 个 文件 。 你 会 可 能 注意 
到 大 多 数 通 过 系统 的 数据 都 是 小 于 128KB 的 。 所 以 我 们 可 以 在 第 一 次 扩容 设置 为 128KB 。 


最 后 你 可 能 会 发 现 当 一 个 消息 大 于 128KB 后 ， 没 有 什么 规律 可 循 来 确定 下 次 分 配 的 空间 大 
小 ， 这 意味 着 最 后 的 buffer 容 量 应 该 设置 为 消息 最 大 的 可 能 数据 量 。 


结合 这 三 次 扩容 时 的 大 小 设置 ， 可 以 一 定 程度 上 减少 数据 拷贝 。4KB 以 下 的 数据 无 需 拷贝 。 在 
1 百 万 的 连接 下 需要 的 空间 例如 1,000,000x4KB=4GB， 目 前 (2015) 大 多 数 服务 器 都 打 得 

住 。4KB 到 128KB 会 仅 需 拷贝 一 次 ， 即 拷贝 4KB 数 据 到 128KB 的 里 面 。 消 息 大 小 介 于 128KB 和 
最 大 容量 的 时 需要 拷贝 两 次 。 首 先 4KB 数 据 被 拷贝 i a ， 所 以 总 共 需 要 
拷贝 132KB 数 据 。 假 设 没有 很 多 的 消息 会 超过 128KB， 那 么 这 个 方案 还 是 可 以 接受 的 。 


当 一 个 消息 被 完整 的 处 理 完毕 后 ， 它 占用 的 内 容 应 当即 刻 被 释放 。 这 样 下 一 个 来 自 东 一 个 链 
接 通 道 的 消息 可 以 从 最 小 的 buffer 大 小 重新 开始 。 这 个 操作 是 必须 的 如 果 我 们 需要 尽 可 能 高 效 
地 复 用 不 同 链接 之 间 的 内 存 。 大 多 数 情 况 下 并 不 是 所 有 的 链接 都 会 在 同一 时 刻 需要 大 容量 的 
buffer ° 


笔者 写 了 一 个 完整 的 教程 阅 述 了 如 何 实现 一 个 内 存 buffer 使 其 支持 扩容 : Resizable Arrays 。 
这 个 教程 也 附带 了 一 个 指向 GitHub 上 的 源码 仓 地 址 ， 里 面 有 实现 方案 的 具体 代码 。 


追加 扩容 (Resize by Append) 


另 一 种 实现 buffer 扩 容 的 方案 是 让 buffer 包 含 几 个 数组 。 当 需要 扩容 的 时 候 只 需要 在 开辟 一 个 
新 的 字 节 数组 ， 然 后 把 内 容 写 到 里 面 去 。 


这 种 扩容 也 有 两 个 具体 的 办 法 。 一 中 是 开辟 单独 的 字 节 数组 ， 然 后 用 一 个 列表 把 这 些 独立 数 
组 关联 起 来 。 另 一 种 是 开辟 一 些 更 大 的 ， 相 互 共享 的 字 节 数组 切片 ， 然 后 用 列表 把 这 些 切片 
和 buffer 关 联 起 来 。 个 人 而 言 ， 笔 者 认为 第 二 种 切片 方案 更 好 一 点 点 ， 但 是 它们 之 前 的 差异 比 
较 小 。( 译 者 话 : 关于 这 两 个 办 法 ， 我 个 人 觉得 概念 介绍 有 点 难 懂 ， 建 议 读 者 也 参考 一 下 原 
xO) 

这 种 追加 扩容 的 方案 不 管 是 用 独立 数组 还 是 切片 都 有 一 个 优点 ， 那 就 是 写 数 据 的 时 候 不 需要 
二 外 的 拷贝 操作 。 所 有 的 数据 可 以 直接 从 socket (Channel) 中 拷贝 至 数组 活 切 片 当 中 。 


这 种 方案 的 缺点 也 很 明显 ， 就 是 数据 不 是 存储 在 一 个 连续 的 数组 中 。 这 会 使 得 ernest 
得 更 加 复杂 ， AARE Eon E 吉 尾 和 所 有 数组 的 结尾 。 正 因为 
我 们 需要 在 写 数 据 时 查找 消息 的 结尾 ， 这 个 模型 在 设计 实现 时 会 相对 不 那么 容易 。 


TLV 编 码 消息 (TLV Encoded Messages) 


有 些 协议 的 消息 消失 采用 的 是 一 种 TLV 格 式 (Type, Length, Value) 。 这 意味 着 当 消息 到 达 
时 ， 消 息 的 完整 大 小 存储 在 了 消息 的 开始 部 分 。 我 们 可 以 立刻 判断 为 消息 开辟 多 少 内 存 空 
间 。 


TLV 编 码 是 的 内 存 管 理 变 得 更 加 简单 。 我 们 可 以 立刻 知道 为 消息 分 配 多 少 内 存 。 即 便 是 不 完整 
的 消息 ，buffer 结 尾 后 面 也 不 会 有 浪费 的 内 存 。 


TLV 编 码 的 一 个 缺点 是 我 们 需要 在 消息 的 全 部 数据 接收 到 之 前 就 开辟 好 需要 用 的 所 有 内 存 。 
此 少量 链接 慢 ， 但 发 送 了 大 块 数据 的 链接 会 占用 较 多 内 存 ， 导 致 服务 器 无 响应 。 


解决 上 诉 问题 的 一 个 变通 办 法 是 使 用 一 种 内 部 包含 多 个 TLV 的 消息 格式 。 这 样 我 们 为 每 个 TLV 
段 分 配 内 存 而 不 是 为 整个 的 消息 分 配 ， 并 且 只 在 消息 的 片段 到 达 时 才 分 配 内 存 。 但 是 消息 片 
段 很 大 时 ， 任 然 会 出 现 一 样 的 问题 。 


另 一 个 办 法 是 为 消息 设置 超时 ， 如 果 长 时 间 未 接收 到 的 消息 (比如 10-15 秒 ) 。 这 可 以 让 服务 
器 从 偶发 的 并 发 处 理 大 块 消息 恢复 过 来 ， 不 过 还 是 会 让 服务 器 有 一 段 时 间 无 响应 。 另 外 恶意 
的 DoS 攻 击 会 导致 服务 器 开辟 大 量 内 存 。 


TLV 编 码 有 不 同 的 变种 。 有 多 少 字 节 使 用 这 样 确切 的 类 型 和 字段 长 度 取 决 于 每 个 独立 的 TLV 编 
码 。 有 的 TLV 编 码 吧 字段 长 度 放 在 前 面 ， 接 着 放 类 型 ， 最 后 放 值 。 尽 管 字 段 的 顺序 不 同 ， 但 他 
任 然 是 一 个 TLV 的 类 型 。 


TLV 编 码 使 得 内 存 管 理 更 加 简单 ， 这 也 是 HTTP1.1 协 议 让 人 觉得 是 一 个 不 太 优 良 的 的 协议 的 原 
因 。 正 因 如 此 ，HTTP2.0 协 议 在 设计 中 也 利用 TLV 编 码 来 传输 数据 帧 。 也 是 因为 这 个 原因 我 们 
设计 了 自己 的 利用 TLV 编 码 的 网 络 协 议 VStack.co。 


写 不 完整 的 消息 (Writing Partial Messages ) 


在 非 阻塞 IO 管道 中 ， 写 数据 也 是 一 个 不 小 的 挑战 。 当 你 调用 一 个 非 阻塞 模式 Channel 的 write() 
方法 时 ， 无 法 保证 有 多 少 机 字 节 被 写 入 了 ByteBuffer 中 。write 方 法 返回 了 实际 写 入 的 字 节 数 ， 
所 以 跟踪 记录 已 被 写 入 的 字 节 数 也 是 可 行 的 。 这 就 是 我 们 遇 到 的 问题 : 持续 记录 被 写 入 的 不 
完整 的 小 树 知 道 一 个 消息 中 所 有 的 数据 都 发 送 完 毕 。 

为 了 管理 不 完整 消息 的 写 操作 ， 我 们 需要 创建 一 个 Message Writer。 正 如 前 面 的 Message 


Reader， 我 们 也 需要 每 个 Channel 配 备 一 个 Message Writer 来 写 数据 。 在 每 个 Message 
Writer 中 我 们 记录 准确 的 已 经 写 入 的 字 节 数 。 


为 了 避免 多 个 消息 传递 到 Message Writer 超 出 他 所 能 处 理 到 Channel 的 量 ， 我 们 需要 让 到 达 的 
消息 进入 队列 。Message Writer 则 尽 可 能 快 的 将 数据 写 到 Channel 里 。 
下 面 是 一 个 流程 图 ， 展 示 的 是 不 完整 消息 被 写 入 的 过 程 : 

为 了 使 Message Writer 能 够 持续 发 送 刚 才 已 经 发 送 了 一 部 分 的 消息 ，Message Writer 需 要 
被 移植 调用 ， 这 样 他 就 可 以 发 送 更 多 数据 。 
如 果 你 有 大 量 的 链接 ， 你 会 持 有 大 量 的 Message Writer 实 例 。 检 查 比 如 1 百 万 的 Message 


Writer 实 例 是 来 确定 他 们 是 否 处 于 可 写 状 态 是 很 慢 的 操作 。 首 先 ， 许 多 Message Writer 可 能 根 
本 就 没有 数据 需要 发 送 。 我 们 不 想 检 查 这 些 实例 。 其 次 ， 不 是 所 有 的 Channel 都 处 于 可 写 状 


态 。 我 们 不 想 浪费 时 间 在 这 些 非 写 入 状态 的 Channel。 


为 了 检查 一 个 Channel 是 否 可 写 ， 可 以 把 它 注册 到 Selector 上 。 但 是 我 们 不 希望 把 所 有 的 
Channel 实 例 都 注册 到 Selector。 试 想 一 下 ， 如 果 你 有 1 百 万 的 链接 ， 这 里 面 大 部 分 是 空闲 
的 ， 把 1 百 万 链接 都 祖 册 到 Selector 上 。 然 后 调用 Select 方法 的 时 候 就 会 有 很 多 的 Channel 处 于 
可 写 状 态 。 你 需要 检查 所 有 这 些 链接 中 的 Message Writer 以 确认 是 否 有 数据 可 写 。 


为 了 避免 检查 所 有 的 这 些 Message Writer， 以 及 那些 根本 没有 消息 需要 发 送 给 他 们 的 Channel 
实例 ， 我 么 可 以 采用 入 校 两 步 策略 : 


1， 当 有 消息 写 入 到 Message Writer 忠 厚 ， 把 它 关 联 的 Channel 注 册 到 Selector 上 (如 果 还 未 
注册 的 话 ) 。 


2.， 当 服务 器 有 空 的 时 候 ， 可 以 检查 Selector 看 看 注册 在 上 面 的 Channel 实 例 是 否 处 于 可 写 状 
态 。 每 个 可 写 的 channel， 使 其 Message Writer 向 Channel 中 写 入 数据 。 如 果 Message 
Writer 已 经 把 所 有 的 消息 都 写 入 Channel， 把 Channel 从 Selector 上 解 绑 。 


这 两 个 小 步骤 确保 只 有 有 数据 要 写 的 Channel 才 会 被 注册 到 Selector。 


集成 (Putting it All Together) 


正如 你 所 知 到 的 ， 一 个 被 阻塞 的 服务 器 需 
消息 被 完整 的 收 到 前 ， 服 务 器 可 能 需要 检 
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类 似 的 ， 服 务 器 也 需要 时 刻 检查 当前 是 否 有 任何 可 写 的 数据 。 如 果 有 的 话 ， 服 务 器 需要 检查 
相应 的 链接 看 他 们 是 否 处 于 可 写 状态 。 仅 仅 在 消息 第 一 次 进入 队列 时 检查 是 不 够 的 ， 因 为 一 
个 消息 可 能 被 部 分 写 入 。 

总 而 言 之 ， 一 个 非 阻塞 的 服务 器 要 三 个 管道 ， 并 且 经 常 执行 : 

o 读数 据 管道 ， 用 来 检查 打开 的 链接 是 否 有 新 的 数据 到 达 ; 

o 处 理 数据 管道 ， 负 责 处 理 接收 到 的 完整 消息 ; 

© 写 数 据 管道 ， 用 于 检查 是 否 有 数据 可 以 写 入 打开 的 连接 中 ; 

这 三 个 管道 在 循环 中 重复 执行 。 你 可 以 尝试 优化 它 的 执行 。 比 如 ， 如 果 没 有 消息 在 队列 中 等 
候 ， 那 么 可 以 跳 过 写 数 据 管 道 。 或 者 ， 如 果 没 有 收 到 新 的 完整 消息 ， 你 甚至 可 以 跳 过 处 理 数 
据 管 道 。 


下 面 这 张 流程 图 益 述 了 这 整个 服务 器 循环 过 程 : 


假如 你 还 是 柑橘 这 比较 复杂 难 懂 ， 可 以 去 clone 我 们 的 源码 仓 : 
https://github.com/jjenkov/java-nio-server 也 许 亲 眼看 到 了 代码 会 帮助 你 理解 这 一 块 是 如 何 实 
现 的 。 


服务 器 线程 模型 (Server Thread Model) 
我 们 在 GitHub 上 的 源码 中 实现 的 非 阻塞 |O 服 务 使 用 了 一 个 包含 两 条 线程 的 线程 模型 。 第 一 个 


线程 负责 从 ServerSocketChannel 接 收 到 达 的 链接 。 另 一 个 线程 负责 处 理 这 些 链 接 ， 包 括 读 消 
息 ， 处 理 消息 ， 把 响应 写 回 到 链接 。 这 个 双 线 程 模型 如 下 : 


前 一 节 中 已 经 介绍 过 的 服务 器 的 循环 处 理 在 处 理 线程 中 执行 。 
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原文 链接 : http://tutorials.jenkov.com/java-nio/datagram-channel.html 


e 打开 一 个 DatagramChannel (Opening a DatagramChannel) 
o 接收 数据 (Receiving Data) 

e 发 送 数 据 (Sending Data) 

o 链接 特定 机 器 地 址 (Connecting to a Specific Address) 


一 个 Java NIO DatagramChannel 死 一 个 可 以 发 送 、 接 收 UDP 数 据 包 的 通道 。 由 于 UDP 是 面向 
无 连接 的 网 络 协议 ， 我 们 不 可 用 像 使 用 其 他 通道 一 样 直接 进行 读 写 数据 。 的 做 法 是 发 
、 接 收 数据 包 


打开 一 个 DatagramChannel (Opening a 
DatagramChannel ) 


打开 一 个 DatagramChannel 你 这 么 操作 : 


DatagramChannel channel = DatagramChannel.open(); 
channel.socket().bind(new InetSocketAddress(9999) ); 


上 述 示例 中 ， 我 们 打开 了 一 个 DatagramChannel， 它 可 以 在 9999 端 口上 收发 UDP 数据 包 


接收 数据 (Receiving Data) 
接收 数据 ， 直 接 调用 DatagramChannel 的 receive() 方 法 : 


ByteBuffer buf = ByteBuffer.allocate(48); 
buf.clear(); 


**channel.receive(buf);** 


receive() 方 法 会 把 接收 到 的 数据 包 中 的 数据 拷贝 至 给 定 的 Buffer 中 。 如 果 数 据 包 的 内 容 超 过 了 
Buffer 的 大 小 ， 剩 余 的 数据 会 被 直接 丢弃 。 


发 送 数 据 (Sending Data) 


发 送 数据 是 通过 DatagramChannel 的 send() 方 法 : 


String newData = "New String to wrte to file..." +System.currentTimeMill 
is(); 

ByteBuffer buf = ByteBuffer.allocate(48); 

buf.clear(); 

buf .put(newData.getBytes()); 

buf .flip(); 


**int byteSent = channel.send(buf, new InetSocketAddress("jenkov.com", 80));** 


上 述 示例 会 吧 一 个 字符 串 发 送 到 "jenkov.com" 服 务 器 的 UDP 端口 80. 目 前 这 个 端口 没有 被 任何 
程序 监听 ， 所 以 什么 都 不 会 发 生 。 当 发 送 了 数据 后 ， 我 们 不 会 收 到 数据 包 是 否 被 接收 的 的 通 
知 ， 这 是 由 于 UDP 本 身 不 保证 任何 数据 的 发 送 问题 


链接 特定 机 器 地 址 (Connecting to a Specific 
Address ) 


DatagramChannel 实 际 上 是 可 以 指定 到 网 络 中 的 特定 地 址 的 。 由 于 UDP 是 面向 无 连接 的 ， 这 
种 链接 方式 并 不 会 创建 实际 的 连接 ， 这 和 TCP 通 道 类 似 。 确 切 的 说 ， 他 会 锁定 
DatagramChannel, 这 样 我 们 就 只 能 通过 特定 的 地 址 来 收发 数据 包 。 


看 一 个 例子 先 : 


channel.connect(new InetSocketAddress("jenkov.com"), 80)); 


当 连 接 上 后 ， 可 以 向 使 用 传统 的 通道 那样 调用 read() 和 Writer() 方 法 。 区 别 是 数据 的 读 写 情况 
得 不 到 保证 。 下 面 是 几 个 示例 : 


int bytesRead = channel.read(buf); 


int byteswritten = channel.write(buf); 


大 大 wa 


13.Java NIO Pipe? & 


原文 链接 : http://tutorials.jenkov.com/java-nio/pipe.html 


Oa a Pipe)) 
首 写 入 数据 (Writing to a Pipe) 
e 从 管道 读 取 数据 (Reading from a Pipe) 


一 个 Java NIO 的 管道 是 两 个 线程 间 单 向 传输 数据 的 连接 。 一 个 管道 (Pipe) 有 一 个 source 
channel 和 一 个 sink channel( 没 想到 合适 的 中 文 名 )。 我 们 把 数据 写 到 sink channel 中 ， 这 些 数 
据 可 以 同 过 source channel 再 读 取 出 来 。 


下 面 是 一 个 管道 的 示意 图 : 


创建 管道 (Creating a Pipe) 
打开 一 个 管道 通过 调用 Pipe.open() 工 厂 方 法 ， 如 下 : 


Pipe pipe = Pipe.open(); 


向 管道 写 入 数据 (Writing to a Pipe ) 
向 管道 写 入 数据 需要 访问 他 的 sink channel : 


Pipe.SinkChannel sinkChannel = pipe.sink(); 


接 下 来 就 是 调用 write() 方 法 写 入 数据 了 : 


String newData = "New String to write to file..." + System.currentTimeMillis(); 


ByteBuffer buf = ByteBuffer.allocate(48); 
buf.clear(); 
buf .put(newData.getBytes()); 


buf .flip(); 


while(buf.hasRemaining()) { 
sinkChannel.write(buf); 


从 管道 读 取 数 据 (Reading from a Pipe ) 
类 似 的 从 管道 中 读 取 数据 需要 访问 他 的 source channel : 


Pipe.SourceChannel sourceChannel = pipe.source(); 


接 下 来 调用 read() 方 法 读 取 数 据 : 


ByteBuffer buf = ByteBuffer.allocate(48); 


int bytesRead = inChannel.read(buf); 


这 里 read() 的 整形 返回 值 代 表 实 际 读 取 到 的 字 节 数 。 


14. Java NIO vs. IO 


原文 链接 : http://tutorials.jenkov.com/java-nio/nio-vs-io.html 

e NIO 和 |O 之 问 的 主要 差异 (Mian Differences Between Java NIO and IO) 
e 面向 流 和 面向 缓冲 区 比较 (Stream Oriented vs. Buffer Oriented)) 

。 阻塞 和 非 阻塞 ID 比较 (Blocking vs. No-blocking IO) 


e Selectors 

© NIO 和 IO 是 如 何 影 响 程序 设计 的 (How NIO and IO Influences Application Design ) 
o API 调 用 (The API Calls)) 
o 数据 处 理 (The Processing of Data) 


e 小 结 
当 学 习 Java 的 NIO 和 IO 时 ， 有 个 问题 会 跳 入 脑海 当中 : 什么 时 候 该 用 IO， 什 么 时 候 用 NIO ? 


下 面 的 章节 中 笔者 会 试 着 分 享 一 些 线索 ， 包 括 两 者 之 间 的 区 别 ， 使 用 场景 以 及 他 们 是 如 何 影 
响 代码 设计 的 。 


NIO 和 IO 之 间 的 主要 差 弄 (Mian Differences 
Between Java NIO and IO) 


下 面 这 个 表格 概括 了 NIO 和 IO 的 主要 差异 。 我 们 会 针对 每 个 差异 进行 解释 。 


IO NIO 
Stream oriented Buffer oriented 
Blocking IO No blocking IO 
Selectors 


面向 流 和 面向 缓冲 区 比较 (Stream Oriented vs. 
Buffer Oriented) 


第 一 个 重大 差异 是 | 是 面向 流 的 ， 而 NIO 是 面向 缓存 区 的 。 这 和 句 话 是 什么 意思 呢 ? 

Java IO 面向 流 意思 是 我 们 每 次 从 流 当 中 读 取 一 个 或 多 个 字 节 。 怎 么 处 理 读 取 到 的 字 节 是 我 们 
自己 的 事情 。 他 们 不 会 再 任何 地 方 缓存 。 再 有 就 是 我 们 不 能 在 流 数据 中 向 前 后 移动 。 如 果 需 
要 向 前 后 移动 读 取 位 置 ， 那 么 我 们 需要 首先 为 它 创 建 一 个 缓存 区 。 


Java NIO 是 面向 缓冲 区 的 ， 这 有 些 细微 差异 。 数 据 是 被 读 取 到 缓存 当中 以 便 后 续 加 工 。 我 们 
可 以 在 缆 存 中 向 向 后 移动 。 这 个 特性 给 我 们 处 理 数 据 提 供 了 更 大 的 弹性 空间 。 当 然 我 们 任 然 
需要 在 使 用 数据 前 检查 缓存 中 是 否 包含 我 们 需要 的 所 有 数据 。 另 外 需要 确保 在 往 缓存 中 写 入 
数据 时 避免 覆盖 了 已 经 写 入 但 是 还 未 被 处 理 的 数据 。 


E XF JIO (Blocking vs. No-blocking 

IO) 

Java IO 的 各 种 流 都 是 阻塞 的 。 这 意味 着 一 个 线程 一 旦 调用 了 read(),write() 方 法 ， 那 么 该 线程 
就 被 阻塞 住 了 ， 知 道 读 取 到 数据 或 者 数据 完整 写 入 了 。 在 此 期 间 线程 不 能 做 其 他 任何 事情 。 


Java NIO 的 非 阻塞 模式 使 得 线程 可 以 通过 channel 来 读数 据 ， 并 且 是 返回 当前 已 有 的 数据 ， 或 
者 什么 都 不 返回 如 果 但 钱 没有 数据 可 读 的 话 。 这 样 一 来 线程 不 会 被 阻塞 住 ， 它 可 以 继续 向 下 
执行 。 


通常 线程 在 调用 非 阻 塞 操 作 后 ， 会 通知 处 理 其 他 channel| 上 的 IO 操作 。 因 此 一 个 线程 可 以 管理 
多 个 channel 的 输入 输出 。 


Selectors 


Java NIO 的 selector 人 允许 一 个 单一 线程 监听 多 个 channel 输 入 。 我 们 可 以 注册 多 个 channel 到 
selector 上 ， 然 后 然后 用 一 个 线程 来 挑 出 一 个 处 于 可 读 或 者 可 写 状 态 的 channel。selector 机 制 
使 得 单线 程 管理 过 个 channel 变 得 容易 。 


NIO 和 IO 是 如 何 影响 程序 设计 的 (How NIO and IO 
Influences Application Design ) 


开发 中 选择 NIO 或 者 IO 会 在 多 方面 影响 程序 设计 : 


1. 使 用 NIO、1IO 的 API 调 用 类 
2. 数据 处 理 
3. 处 理 数 据 需 要 的 线程 数 


API 调 用 (The API Calls) 


显而易见 使 用 NIO 的 API 接 口 和 使 用 IO 时 是 不 同 的 。 不 同 于 直接 冲 InputStream 读 取 字 节 ， 我 们 
的 数据 需要 先 写 入 到 buffer 中 ， 然 后 再 从 buffer 中 处 理 它们 。 


数据 处 理 (The Processing of Data) 


数据 的 处 理 方式 也 随 着 是 NID 或 IO 而 异 。 在 IO 设计 中 ， 我 们 从 InputStream 或 者 Reader 中 读 取 
字 节 。 假 设 我 们 现在 需要 处 理 一 个 按 行 排列 的 文本 数据 ， 如 下 : 


Name: Anna 

Age: 25 

Email: anna@mailserver.com 
Phone: 1234567890 


这 个 处 理 文 本 行 的 过 程 大 概 是 这 样 的 : 
InputStream input = ... ; // get the InputStream from the client socket 


BufferedReader reader = new BufferedReader (new InputStreamReader (input) ); 


String nameLine = reader.readLine(); 

String ageLine = reader.readLine(); 

String emailLine = reader.readLine(); 

String phoneLine = reader.readLine(); 
小 结 


NIO 人 允许 我 们 只 用 一 条 线程 来 管理 多 个 通道 (网络 连接 或 文件 ) ， 随 之 而 来 的 代价 是 解析 数据 
相对 于 阻塞 流 来 说 可 能 会 变 得 更 加 的 复杂 。 


如 果 你 需要 同时 管理 成 千 上 万 的 链接 ， 这 些 链接 只 发 送 少 量 数据 ， 例 如 聊天 服务 器 ， 用 NIO 来 
实现 这 个 服务 器 是 有 优势 的 。 类 似 的 ， 如 果 你 需要 维持 大 量 的 链接 ， 例 如 P2P 网 络 ， 用 单线 程 
来 管理 这 些 链接 也 是 有 优势 的 。 这 种 单线 程 多 连接 的 设计 可 以 用 下 图 描述 : 


Java NIO: A single thread managing multiple connections 


如 果 链 接 数 不 是 很 多 ， 但 是 每 个 链接 的 占用 较 大 带宽 ， 每 次 都 要 发 送 大 量 数 据 ， 那 么 使 用 传 
统 的 ID 设计 服务 器 可 能 是 最 好 的 选择 。 下 面 是 经 典 IO 服 务 设计 图 : 


Java IO: A classic IO server design - one connection handled by one thread. 


15.Java NIO Path% 74 


原文 链接 : http://tutorials.jenkov.com/java-nio/path.html 


e 创建 Path 实 例 (Creating a Path Instance ) 
o 创建 绝对 路 径 (Creating an Absolute Path ) 
o 创建 相对 路 径 (Creating a Relative Path ) 

e Path.normalize()) 


Java 的 path 接 口 是 作 为 Java NIO 2 的 一 部 分 是 Java6,7 中 NIO 的 升级 增加 部 分 。Path 在 Java 7 
新 增 的 。 相 关 接 口 位 于 java.nio.file 包 下 ， 所 以 Javaz 内 Path 接 口 的 完整 名 称 是 
java.nio.file.Path. 


一 个 Path 实 例 代 表 一 个 文件 系统 内 的 路 径 。path 可 以 指向 文件 也 可 以 指向 目录 。 可 以 使 相对 
路 径 也 可 以 是 绝对 路 径 。 绝 对 路 径 包 含 了 从 根 目录 到 该 文件 (目录 ) 的 完整 路 径 。 相 对 路 径 
包含 该 文件 (AR) 相对 于 其 他 路 径 的 路 径 。 相 对 路 径 听 起 来 可 能 有 点 让 人 头晕 。 但 是 别 
急 ， 稍 后 我 们 会 详细 介绍 。 


不 要 把 文件 系统 中 路 径 和 环境 变量 的 路 径 混淆 。java.nio.file.Path 和 环境 变量 没有 任何 关系 。 


在 很 多 情况 下 java.no.file.Path 接 口 和 java.io.File 比 较 相 似 ， 但 是 他 们 之 间 存 在 一 些 细微 的 差 
异 。 尽 管 如 此 ， 在 大 多 数 情况 下 ， 我 们 都 可 以 用 File 相 关 类 来 替换 Path 接 口 。 


创建 Path 实 例 (Creating a Path Instance ) 


为 了 使 用 java.nio.file.Path 实 例 我 们 必须 创建 Path 对 象 。 创 建 Path 实 例 可 以 通过 Paths 的 工厂 
方法 get () 。 下 面 是 一 个 实例 : 


import java.nio.file.Path; 
import java.nio.file.Paths; 


public classs PathExample { 
public static void mian(String[] args) { 
Path = path = Paths.get("c:\\data\\myfile.txt"); 


} 
} 
注意 上 面 的 两 个 import 声 明 。 需 要 使 用 Path 和 Paths 的 接口 , 毕 现 先 把 他 们 引入 。 


其 次 注意 Paths.get("c:\data\myfile.txt") 的 调用 。 这 个 方法 会 创建 一 个 Path 实 例 ， 换 句 话 说 
Paths.get() 是 Paths 的 一 个 工厂 方法 。 


创建 绝对 路 径 (Creating an Absolute Path ) 

创建 绝对 路 径 只 需要 调动 Paths.get() 这 个 工厂 方法 ， 同 时 传 入 绝对 文件 。 这 是 一 个 例子 : 
Path path = Paths.get("c:\\data\\myfile.txt"); 

对 路 径 是 c:\data\myfile.txt， 里 面 的 双 和 斜 杠 \ 字 符 是 Java 字符 串 中 必须 的 ， 因 为 \ 是 转 义 字符 ， 

表示 后 面 跟 的 字符 在 字符 囊 中 的 丨 实 含义 。 双 斜 杠 \ 表 示 \ 自 身 。 


上 面 的 路 径 是 Windows 下 的 文件 系统 路 径 表 示 。 在 Unixx 系 统 中 (Linux, MacOS,FreeBSD 
等 ) 上 述 的 绝对 路 径 长 得 是 这 样 的 : 


Path path = Paths.get("/home/jakobjenkov/myfile.txt"); 
他 的 绝对 路 径 是 /home/jakobjenkov/myfile.txt。 如 果 在 Windows 机 器 上 使 用 用 这 种 路 径 ， 那 么 


这 个 路 径 会 被 认为 是 相对 于 当前 磁盘 的 。 例 如 : 


/home/jakobjenkov/myfile.txt 


这 个 路 径 会 被 理解 其 C 盘 上 的 文件 ， 所 以 路 径 又 变 成 了 


C:/home/jakobjenkov/myfile. txt 


创建 相对 路 径 (Creating a Relative Path ) 


相对 路 径 是 从 一 个 路 径 (基准 路 径 ) 指向 另 一 个 目录 或 文件 的 路 径 。 完 整 路 径 实 际 上 等 同 于 
相对 路 径 加 上 基准 路 径 。 


Java NIO 的 Path 类 可 以 用 于 相对 路 径 。 创 建 一 个 相对 路 径 可 以 通过 调用 Path.get(basePath， 
relativePath), 下 面 是 一 个 示例 : 


Path projects = Paths.get("d:\\data", "projects"); 


Path file = Paths.get("d:\\data", "projects\\a-project\\myfile.txt"); 


第 一 行 创建 了 一 个 指向 d:\data\projects 的 Path 实 例 。 第 二 行 创建 了 一 个 指向 d:\data\projects\a- 
project\myfile.txt 的 Path 实 例 。 在 使 用 相对 路 径 的 时 候 有 两 个 特殊 的 符号 : 


.表示 的 是 当前 目录 ， 例 如 我 们 可 以 这 样 创建 一 个 相对 路 径 : 


Path currentDir = Paths.get("."); 
System.out.printin(currentDir.toAbsolutePath()); 


currentDir 的 实际 路 径 就 是 当前 代码 执行 的 目录 。 如 果 在 路 径 中 间 使 用 了 .那么 他 的 含义 实际 
上 就 是 目录 位 置 自身 ， 例 如 : 


Path currentDir = Paths.get("d:\\data\\projects\.\a-project"); 
上 诉 路 径 等 同 于 : 

d:\data\projects\a-project 

.表示 父 目录 或 者 说 是 上 一 级 目录 : 


Path parentDir = Paths.get(".."); 


这 个 Path 实 例 指 向 的 目录 是 当前 程序 代码 的 父 目 录 。 如 果 在 路 径 中 间 使 用 .. 那 么 会 相应 的 改变 
指定 的 位 置 : 


String path = "d:\\data\\projects\\a-project\\..\\another-project"; 
Path parentDir2 = Paths.get(path); 


d:\data\projects\another-project 


.和 .. 也 可 以 结合 起 来 用 ， 这 里 不 过 多 介绍 。 


Path.normalize() 
Path 的 normalize() 方 法 可 以 把 路 径 规范 化 。 也 就 是 把 .和 .. 都 等 价 去 除 : 


String originalPath = "d:\\data\\projects\\a-project\\..\\another-project"; 


Path path1 = Paths.get(originalPath) ; 
System.out.printin("path1 = " + path1); 


Path path2 = pathi.normalize(); 
System.out.printin("path2 = " + path2); 


这 段 代 码 的 输出 如 下 : 


path1 = d:\data\projects\a-project\..\another-project 
path2 = d:\data\projects\another -project 


16. Java NIO Files 


原文 链接 : http://tutorials.jenkov.com/java-nio/files.html 


e Files.exists()) 
e Files.createDirectory()) 
e Files.copy()) 
o 禾 盖 已 经 存在 的 文件 (Overwriting Existing Files)) 
e Files.move()) 
e Files.delete()) 
e Files.walkFileTree()) 
o Searching For Files 
o Deleting Directies Recursively 
e Additional Methods in the Files Class 


Java NIO 中 的 Files 类 (java.nio.file.Files) 提供 了 多 种 操作 文件 系统 中 文件 的 方法 。 本 节 教 程 
将 覆盖 大 部 分 方法 。Files 类 包含 了 很 多 方法 ， 所 以 如 果 本 文 没有 提 到 的 你 也 可 以 直接 查询 
JavaDoc 文 档 。 


java.nio.file.Files 类 是 和 java.nio.file.Path 相 结合 使 用 的 ， 所 以 在 用 Files 之 前 确保 你 已 经 理解 了 
Path 类 。 


Files.exists() 


Files.exits() 方 法 用 来 检查 给 定 的 Path 在 文件 系统 中 是 否 存 在 。 在 文件 系统 中 创建 一 个 原本 不 
存在 的 Payh 是 可 行 的 。 例 如 ， 你 想 新 建 一 个 目录 ， 那 么 闲 创建 对 应 的 Path 实 例 ， 然 后 创建 目 


由 于 Path 实 例 可 能 指向 文件 系统 中 的 不 存在 的 路 径 ， 所 以 需要 用 Files.exists() 来 确认 。 


下 面 是 一 个 使 用 Files.exists() 的 示例 : 


Path path = Paths.get("data/logging.properties"); 


boolean pathExists = 
Files.exists(path, 
new LinkOption[]{ LinkOption.NOFOLLOW_LINKS}); 


这 个 示例 中 ， 我 们 首先 创建 了 一 个 Path 对 象 ， 然 后 利用 Files.exists() 来 检查 这 个 路 径 是 否 真 实 
存在 。 


注意 Files.exists() 的 的 第 二 个 参数 。 他 是 一 个 数组 ， 这 个 参数 直接 影响 到 Files.exists() 如 何 确 
定 一 个 路 径 是 否 存 在 。 在 本 例 中 ， 这 个 数组 内 包含 了 LinkOptions.NOFOLLOW _LINKS， 表 示 
检测 时 不 包含 符号 链接 文件 。 


Files.createDirectory() 


Files.createDirectory() 会 创建 Path 表 示 的 路 径 ， 下 面 是 一 个 示例 : 
Path path = Paths.get("data/subdir"); 


try { 
Path newDir = Files.createDirectory(path) ; 


} catch(FileAlreadyExistsException e)f{ 
// the directory already exists. 

} catch (IOException e) { 
//something else went wrong 
e.printStackTrace(); 


第 一 行 创 建 了 一 个 Path 实 例 ， 表 示 需 要 创建 的 目录 。 接 着 用 try-catch 把 Files.createDirectory() 
的 调用 捕获 住 。 如 果 创 建成 功 ， 那 么 返回 值 就 是 新 创建 的 路 径 。 


如 果 目 录 已 经 存在 了 ， 那 么 会 抛 出 java.nio.file.FileAlreadyExistException 措 常 。 如 果 出 现 其 他 
问题 ， 会 抛 出 一 个 IOException。 比 如 说 ， 要 创建 的 目录 的 父 目 录 不 存在 ， 那 么 就 会 抛 出 
IOException。 父 目录 指 的 是 你 要 创建 的 目录 所 在 的 位 置 。 也 就 是 新 创建 的 目录 的 上 一 级 父 目 
Ko 


Files.copy() 
Files.copy() 方 法 可 以 吧 一 个 文件 从 一 个 地 址 复制 到 另 一 个 位 置 。 例 如 : 


Path sourcePath = Paths.get("data/logging.properties"); 
Path destinationPath = Paths.get("data/logging-copy.properties"); 


try { 
Files.copy(sourcePath, destinationPath); 


} catch(FileAlreadyExistsException e) { 
//destination file already exists 

} catch (IOException e) { 
//something else went wrong 
e.printStackTrace(); 


这 个 例子 当中 ， 首 先 创建 了 原文 件 和 目标 文件 的 Path 实 例 。 然 后 把 它们 作为 参数 ， 传 递 给 
Files.copy(), 接 着 就 会 进行 文件 拷贝 。 


如 果 目 标 文件 已 经 存在 ， 就 会 抛 出 java.nio.file.FileAlreadyExistsException 措 常 。 类 似 的 吐 过 
中 间 出 错 了 ， 也 会 抛 出 IOException 。 


禾 盖 已 经 存在 的 文件 (Overwriting Existing Files) 
copy 操 作 可 以 强制 覆盖 已 经 存在 的 目标 文件 。 下 面 是 具体 的 示例 : 


Path sourcePath = Paths.get("data/logging.properties"); 
Path destinationPath = Paths.get("data/logging-copy.properties"); 


try { 
Files.copy(sourcePath, destinationPath, 
StandardCopyOption.REPLACE_EXISTING); 
} catch(FileAlreadyExistsException e) { 
//destination file already exists 
} catch (IOException e) { 
//something else went wrong 
e.printStackTrace(); 


注意 copy 方 法 的 第 三 个 参数 ， 这 个 参数 决定 了 是 否 可 以 覆盖 文件 。 


Files.move() 


Java NIO 的 Files 类 也 包含 了 移动 的 文件 的 接口 。 移 动 文 件 和 重 命名 是 一 样 的 ， 但 是 还 会 改变 
文件 的 目录 位 置 。java.io.File 类 中 的 renameTo() 方 法 与 之 功能 是 一 样 的 。 


Path sourcePath = Paths.get("data/logging-copy.properties"); 
Path destinationPath = Paths.get("data/subdir/logging-moved.properties"); 


try { 
Files.move(sourcePath, destinationPath, 
StandardCopyOption.REPLACE_EXISTING); 
} catch (IOException e) { 
//moving file failed. 
e.printStackTrace(); 


首先 创建 源 路 径 和 目标 路 径 的 ， 原 路 径 指 的 是 需要 移动 的 文件 的 初始 路 径 ， 目 标 路 径 是 指 需 
要 移动 到 的 位 置 。 


这 里 move 的 第 三 个 参数 也 允许 我 们 履 盖 已 有 的 文件 。 


Files.delete() 
Files.delete() 方 法 可 以 删除 一 个 文件 或 目录 : 


Path path = Paths.get("data/subdir/logging-moved.properties"); 


try { 
Files.delete(path); 


} catch (IOException e) { 
//deleting file failed 
e.printStackTrace(); 


首先 创建 需要 删除 的 文件 的 path 对 象 。 接 着 就 可 以 调用 delete 了 。 


Files.walkFileTree() 


Files.walkFileTree() 方 法 具有 递归 遍历 目录 的 功能 。walkFileTree 接 受 一 个 Path 和 FileVisitor 作 
为 参数 。Path 对 象 是 需要 遍历 的 目录 ，FileVistor 则 会 在 每 次 遍历 中 被 调用 。 


下 面 先 来 看 一 下 FileVisitor 这 个 接口 的 定义 : 


public interface FileVisitor { 


public FileVisitResult preVisitDirectory( 
Path dir, BasicFileAttributes attrs) throws IOException; 


public FileVisitResult visitFile( 
Path file, BasicFileAttributes attrs) throws IOException; 


public FileVisitResult visitFileFailed( 
Path file, IOException exc) throws IOException; 


public FileVisitResult postVisitDirectory( 
Path dir, IOException exc) throws IOException { 


FileVisitor 需 要 调用 方 自行 实现 ， 然 后 作为 参数 传 入 walkFileTree().FileVisitor 的 每 个 方法 会 在 
遍历 过 程 中 被 调用 多 次 。 如 果 不 需 要 处 理 每 个 方法 ， 那 么 可 以 继承 他 的 默认 实现 类 
SimpleFileVisitor， 它 将 所 有 的 接口 做 了 空 实现 。 


下 面 看 一 个 walkFileTree() 的 示例 : 


Files.walkFileTree(path, new FileVisitor<Path>() { 
@Override 
public FileVisitResult preVisitDirectory(Path dir, BasicFileAttributes attrs) throws 
IOException { 
System.out.printin("pre visit dir:" + dir); 
return FileVisitResult.CONTINUE; 


@Override 
public FileVisitResult visitFile(Path file, BasicFileAttributes attrs) throws IOExce 
ption { 
System.out.println("visit file: " + file); 
return FileVisitResult.CONTINUE; 


@Override 
public FileVisitResult visitFileFailed(Path file, IOException exc) throws IOExceptio 
nt 
System.out.println("visit file failed: " + file); 
return FileVisitResult.CONTINUE; 


@Override 
public FileVisitResult postVisitDirectory(Path dir, IOException exc) throws IOExcept 
ion { 
System.out.printin("post visit directory: " + dir); 
return FileVisitResult.CONTINUE; 


} 
}); 


FileVisitor 的 方法 会 在 不 同时 机 被 调用 : preVisitDirectory() 在 访问 目录 前 被 调用 。 
postVisitDirectory() 在 访问 后 调用 。 


visitFile() 会 在 整个 遍历 过 程 中 的 每 次 访问 文件 都 被 调用 。 他 不 是 针对 目录 的 ， 而 是 针对 文件 
的 。visitFileFailed() 调 用 则 是 在 文件 访问 失败 的 时 候 。 例 如 ， 当 缺少 合适 的 权限 或 者 其 他 错 


a 
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上 述 四 个 方法 都 返回 一 个 FileVisitResult 枚 举 对 象 。 具 体 的 可 选 枚 举 项 包括 : 


e CONTINUE 

e TERMINATE 

e SKIP_SIBLINGS 
e SKIP_SUBTREE 


返回 这 个 枚 举 值 可 以 让 调用 方 决定 文件 遍历 是 否 需 要 继续 。 CONTINE 表 示 文 件 遍 历 和 正常 情 
况 下 一 样 继续 。 


TERMINATE 表 示 文 件 访 问 需要 终止 。 


SKIP_SIBLINGS 表 示 文 件 访问 继续 ， 但 是 不 需要 访问 其 他 同 级 文件 或 目录 。 


SKIP_SUBTREE 表 示 继 续 访问 ， 但 是 不 需要 访问 该 目录 下 的 子 目录 。 这 个 枚 举 值 仅 在 
preVisitDirectory() 中 返回 才 有 效 。 如 果 在 另外 几 个 方法 中 返回 ， 那 么 会 被 理解 为 CONTINE 。 


Searching For Files 
下 面 看 一 个 例子 ， 我 们 通过 walkFileTree() 来 寻找 一 个 README.txt 文 件 : 


Path rootPath = Paths.get("data"); 
String fileToFind = File.separator + "README.txt"; 


try { 
Files.walkFileTree(rootPath, new SimpleFileVisitor<Path>() { 


@Override 
public FileVisitResult visitFile(Path file, BasicFileAttributes attrs) throws IOEx 
ception { 
String fileString = file.toAbsolutePath().toString(); 
//System.out.printin("pathString = " + fileString); 


if (fileString.endswith(fileToFind) ){ 
System.out.printin("file found at path: " + file.toAbsolutePath()); 
return FileVisitResult .TERMINATE; 
} 
return FileVisitResult.CONTINUE; 
} 
H; 
} catch(I0Exception e){ 
e.printStackTrace(); 


} 


Deleting Directies Recursively 


Files.walkFileTree() 也 可 以 用 来 删除 一 个 目录 以 及 内 部 的 所 有 文件 和 子 目 。Files.delete() 只 用 
用 于 删除 一 个 空 目录 。 我 们 通过 遍历 目录 ， 然 后 在 visitFile() 接 口中 三 次 所 有 文件 ， 最 后 在 
postVisitDirectory() 内 删除 目录 本 身 。 


Path rootPath = Paths.get("data/to-delete"); 


try { 
Files.walkFileTree(rootPath, new SimpleFileVisitor<Path>() { 
@Override 
public FileVisitResult visitFile(Path file, BasicFileAttributes attrs) throws IOEx 
ception { 
System.out.printin("delete file: " + file.toString()); 
Files.delete(file); 
return FileVisitResult.CONTINUE; 


@Override 
public FileVisitResult postVisitDirectory(Path dir, IOException exc) throws IOExce 
ption { 
Files.delete(dir); 
System.out.printin("delete dir: " + dir.toString()); 
return FileVisitResult.CONTINUE; 
} 
H); 
} catch(IOException e){ 
e.printStackTrace(); 


Additional Methods in the Files Class 


java.nio.file.Files 类 还 有 其 他 一 些 很 有 用 的 方法 ， 比 如 创建 符号 链接 ， 确 定 文件 大 小 以 及 设置 
文件 权限 等 。 具 体 用 法 可 以 查阅 JavaDoc 中 的 API 说 明 。 


17. Java NIO AsynchronousFileChannel-+ 
步 文件 通道 


原文 链接 : http://tutorials.jenkov.com/java-nio/asynchronousfilechannel.html 


e 创建 AsynchronousFileChannel (Creating an AsynchronousFileChannel) 
e 读 取 数据 (Reading Data) 
o 通过 Future 读 取 数 据 (Reading Data Via a Future) 
o 通过 CompletionHandler 读 取 数 据 (Reading Data Via a CompletionHandler ) 
(Writing Data) 
Future 写 数据 (Writing Data Via a Future ) 
CompletionHandler 5 24 (Writing Data Via a CompletionHandler ) 
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数据 可 以 进行 异步 读 写 。 下 面 将 介绍 一 下 AsynchronousFileChannel 的 使 用 。 


创建 AsynchronousFileChannel (Creating an 
AsynchronousFileChannel ) 


AsynchronousFileChannel 的 创建 可 以 通过 open() 静 态 方法 : 


Path path = Paths.get("data/test.xml"); 


AsynchronousFileChannel fileChannel = 
AsynchronousFileChannel.open(path, StandardOpenOption.READ) ; 


open() 的 第 一 个 参数 是 一 个 Path 实 体 ， 指 向 我 们 需要 操作 的 文件 。 第 二 个 参数 是 操作 类 型 。 
上 述 示例 中 我 们 用 的 是 StandardOpenOption.READ， 表 示 以 读 的 形式 操作 文件 。 


读 取 数 据 (Reading Data ) 


读 取 AsynchronousFileChannel 的 数据 有 两 种 方式 。 每 种 方法 都 会 调用 
AsynchronousFileChannel 的 一 个 read() 接 口 。 下 面 分 别 看 一 下 这 两 种 写法 。 


通过 Future 读 取 数 据 (Reading Data Via a Future ) 


第 一 种 方式 是 调用 返回 值 为 Future 的 read() 方 法 : 


Future<Integer> operation = fileChannel.read(buffer, 0); 


这 种 方式 中 ，read() 接 受 一 个 ByteBuffer 座 位 第 一 个 参数 ， 数 据 会 被 读 取 到 ByteBuffer 中 。 第 
二 个 参数 是 开始 读 取 数据 的 位 置 。 


read() 方 法 会 立刻 返回 ， 即 使 读 操作 没有 完成 。 我 们 可 以 通过 isDone() 方 法 检查 操作 是 否 完 
Ro 


下 面 是 一 个 略 长 的 示例 : 


AsynchronousFileChannel fileChannel = 
AsynchronousFileChannel.open(path, StandardOpenOption.READ) ; 


ByteBuffer buffer = ByteBuffer.allocate(1024); 
long position = 0; 


Future<Integer> operation = fileChannel.read(buffer, position); 
while(!operation.isDone()); 

buffer.flip(); 

byte[] data = new byte[buffer.limit()]; 

buffer.get(data); 


System.out.println(new String(data) ); 
buffer.clear(); 


在 这 个 例子 中 我 们 创建 了 一 个 AsynchronousFileChannel， 然 后 创建 一 个 ByteBuffer 作 为 参数 
传 给 read。 接 着 我 们 创建 了 一 个 循环 来 检查 是 否 读 取 完 毕 isDone()。 这 里 的 循环 操作 比较 低 
效 ， 它 的 意思 是 我 们 需要 等 待 读 取 动 作 完成 。 


一 旦 读 取 完 成 后 ， 我 们 就 可 以 把 数据 写 入 ByteBuffer， 然 后 输出 。 
通过 CompletionHandler 读 取 数 据 (Reading Data Via a 
CompletionHandler ) 


另 一 种 方式 是 调用 接收 CompletionHandler 作 为 参数 的 read() 方 法 。 下 面 是 具体 的 使 用 : 


fileChannel.read(buffer, position, buffer, new CompletionHandler<Integer, ByteBuffer>( 


) 


@Override 
public void completed(Integer result, ByteBuffer attachment) { 
System.out.printin("result = " + result); 


attachment.flip(); 

byte[] data = new byte[attachment.limit()]; 
attachment.get(data); 
System.out.println(new String(data)); 
attachment.clear(); 


} 


@Override 
public void failed(Throwable exc, ByteBuffer attachment) { 


} 
3); 


这 里 ， 一 旦 读 取 完 成 ， 将 会 触发 CompletionHandler 的 completed() 方 法 ， 并 传 入 一 个 Integer 
和 ByteBuffer。 前 面 的 整形 表示 的 是 读 取 到 的 字 节 数 大 小 。 第 二 个 ByteBuffer 也 可 以 换 成 其 他 
合适 的 对 象 方便 数据 写 入 。 如 果 读 取 操 作 失 败 了 ， 那 么 会 触发 failed() 方 法 。 


写 数 据 (Writing Data) 


和 读数 据 类 似 某 些 数据 也 有 两 种 方式 ， 调 动 不 同 的 的 write() 方 法 ， 下 面 分 别 看 介绍 这 两 种 方 
法 。 


i it Future 5 44% (Writing Data Via a Future ) 


通过 AsynchronousFileChannel 我 们 可 以 一 步 写 数据 


Path path = Paths.get("data/test-write.txt"); 
AsynchronousFileChannel fileChannel = 
AsynchronousFileChannel.open(path, StandardOpenOption.WRITE); 


ByteBuffer buffer = ByteBuffer.allocate(1024); 
long position = 0; 


buffer.put("test data".getBytes()); 
buffer.flip(); 


Future<Integer> operation = fileChannel.write(buffer, position); 
buffer.clear(); 


while(!operation.isDone()); 
System.out.printin("Write done"); 
首先 把 文件 已 写 方式 打开 ， 接 着 创建 一 个 ByteBuffer 座 位 写 入 数据 的 目的 地 。 再 把 数据 进入 


ByteBuffer。 最 后 检查 一 下 是 否 写 入 完成 。 需 要 注意 的 是 ， 这 里 的 文件 必须 是 已 经 存在 的 ， 否 
者 在 尝试 write 数据 是 会 抛 出 一 个 java.nio.file.NoSuchFileException. 


检查 一 个 文件 是 否 存在 可 以 通过 下 面 的 方法 : 


if(!Files.exists(path)){ 
Files.createFile(path); 
} 


通过 CompletionHandler 写 数据 (Writing Data Via a 
CompletionHandler ) 


我 们 也 可 以 通过 CompletionHandler 来 写 数据 : 


Path path = Paths.get("data/test-write.txt"); 
if(!Files.exists(path) ){ 
Files.createFile(path) ; 


} 


AsynchronousFileChannel fileChannel = 
AsynchronousFileChannel.open(path, StandardOpenOption.WRITE) ; 


ByteBuffer buffer = ByteBuffer.allocate(1024); 
long position = 0; 


buffer.put("test data".getBytes()); 
buffer.flip(); 


fileChannel.write(buffer, position, buffer, new CompletionHandler<Integer, ByteBuffer> 


Oí 


@Override 
public void completed(Integer result, ByteBuffer attachment) { 
System.out.printin("bytes written: " + result); 


@Override 

public void failed(Throwable exc, ByteBuffer attachment) { 
System.out.printin("Write failed"); 
exc.printStackTrace(); 


3); 


同样 当 数 据 吸 入 完成 后 completed() 会 被 调用 ， 如 果 失 败 了 那么 failed() 会 被 调用 。 


